API Web Scraping

Web Scraping Обход сайта API

Обходит сайт и возвращает чистый текст до 10 страниц в одном нормализованном ответе: удобно для передачи сайтов в LLM и поисковые индексы.

1,25 USD/1 тыс. результатов, оплата за запрос, без подписки.

Example
example.com

Example - Build something great

Example is the platform teams use to ship faster…

Get startedView docs
1
2
3
Что вернул APIitems[0]
{
"url": "https://www.example.com",
"title": "Example - Build something great",
"text": "Example is the platform teams use to ship faster…",
"author": string | null,
"canonicalUrl": string | null,
"contentType": string | null,
"description": string,
"domain": string,
... ещё полей: 9
}
Доступность
98,00%
30d · Вызовов: 1 299
Запросы
1 304
30 дн. · по неделям, последние недель: 12
Ответ
10,6s
медиана · 30d

Цены и поставщики

Цена API Web Scraping Обход сайта: один API, поставщиков 3, и любой может заменить другого

Первым обслуживает самый дешёвый поставщик. Если он не отвечает, его заменяет следующий в том же вызове.

Поставщик
1BadgerОбслуживает первымДоступность: 96,77%11447ms p5069,3% вызовов1,25 USD/1 тыс. результатовдо 0,0125 USD / запрос2BisonРезерв 1Доступность: 60,53%15053ms p5022,8% вызовов1,25 USD/1 тыс. результатовдо 0,0125 USD / запрос3SalamanderРезерв 2Доступность: 31,58%14268ms p507,9% вызовов1,25 USD/1 тыс. результатовдо 0,0125 USD / запрос
Вы платите
12,50 USD
1,25 USD/1 тыс. результатов, только за то, чем пользуетесь. Без ежемесячного тарифа.
Один запрос стоит не больше 0,0125 USD (10 results).
Стартового баланса 0,10 USD хватает минимум на 8 запросов.

Попробовать

Получите Web Scraping Обход сайта одним запросом

requireFieldsarray
Optional; omit it and routing is unchanged. Name the output fields this request must be able to return, for example `language`, and it is served only by a source that returns every one of them. Fields you do not name are still returned whenever the serving source has them. Every source charges the same per page, so this never changes your price. A named field can still be empty on a page that genuinely lacks it.
Открыть в
Пример ответа
Бесплатные запуски возвращают только первые результаты: 3. Пополните ключ, чтобы получить полный ответ.

В этом примере показано полей: 6 из 31. Все поля

{
  "found": true,
  "data": {
    "items": [
      {
        "url": "https://www.example.com",
        "title": "Example - Build something great",
        "text": "Example is the platform teams use to ship faster…"
      },
      {
        "url": "https://www.example.com/pricing",
        "title": "Pricing - Example",
        "text": "Simple plans for teams of every size…"
      }
    ]
  }
}

Полный справочник по параметрам и ответу: каждое поле, тип и пример для этого эндпоинта.

Справочник

Один запрос, один формат ответа.

Каждое поле, которое вы отправляете, и каждое поле, которое получаете, с реальным примером.

Проверено 2026-11-21 · доступность и задержка измерены за 30d

Тело запроса

JSON, отправляется на этот эндпоинт.

  • urlstring

    https://www.example.com

    The website URL or domain to crawl. Pages linked from it on the same site are crawled too.

  • limitinteger

    Maximum number of pages to crawl and return (1-10, default 10). You are billed per page returned, so a lower limit costs less.

  • requireFieldsarray

    Optional; omit it and routing is unchanged. Name the output fields this request must be able to return, for example `language`, and it is served only by a source that returns every one of them. Fields you do not name are still returned whenever the serving source has them. Every source charges the same per page, so this never changes your price. A named field can still be empty on a page that genuinely lacks it.

Вы отправляете. Небольшое тело JSON. Показанные значения это примеры, замените их своими.

Ответ

JSON, по одному примеру значения на поле.

each issuedata.issues[]

Pages the crawl reported as failed or skipped. They are never in items and never billed. The list holds what the crawl reported, not every page of the site.

  • outcome"failed" | "robots_disallowed" | "skipped"

    failed: the page could not be fetched or answered with an HTTP error. robots_disallowed: the site's robots.txt does not allow crawling it. skipped: the crawl did not fetch it, for example because it is outside the crawled site.

  • statusCodeinteger

    The HTTP status code the page answered with, or null when unknown.

  • urlstring

    The page's URL.

each itemdata.items[]

One record per crawled page: its URL and domain, page title, meta description, language, HTTP status, the page content as Markdown text, and the page metadata the source reports. You are billed for these pages only. Populated whenever the provider has data for the entity.

  • authorstringможет потребовать

    The author the page declares, or null when unknown.

  • canonicalUrlstringможет потребовать

    The canonical URL the page declares in its own markup, or null when it declares none or the source does not report it.

  • contentTypestringможет потребовать

    The content type the page was served with (for example text/html;charset=utf-8), or null when unknown.

  • descriptionstring

    The page's meta description, empty when the page has none.

  • domainstring

    The page's host name, without a leading www. Populated whenever the provider has data for the entity.

  • jsonLdany[]может потребовать

    The JSON-LD structured data blocks the page publishes (schema.org Organization, LocalBusiness, BreadcrumbList and so on), as parsed JSON, or null when the source does not report them. They are the publisher's own claims, not verified facts.

  • languagestringможет потребовать

    The page's declared language code (for example en-US), or null when unknown.

  • modifiedUtcintegerможет потребовать

    When the page says it was last modified, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.

  • publishedUtcintegerможет потребовать

    When the page says it was published, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.

  • robotsstringможет потребовать

    The page's robots meta directives (for example noindex, nofollow), or null when it declares none or the source does not report them.

  • siteNamestringможет потребовать

    The site name the page declares (its og:site_name), or null when unknown.

  • sourceUrlstring

    The URL the crawler requested for this page, before any redirect, or null when unknown.

  • statusCodeinteger

    The HTTP status code the page answered with, or null when unknown.

  • textstring

    Example is the platform teams use to ship faster…

    The page content as Markdown. Populated whenever the provider has data for the entity.

  • titlestring

    Example - Build something great

    The page title, empty when the page has none (a PDF, for example).

  • urlstring

    https://www.example.com

    The crawled page's URL, after any redirect. Populated whenever the provider has data for the entity.

each headingdata.items[].headings[]

The page's headings in document order, each with its level (1 for an h1) and text, or null when the source does not report them.

  • levelinteger

    The heading level, 1 to 6.

  • textstring

    The heading text.

summarydata.summary

Counts for this crawl. They describe the pages this crawl visited and reported, not the whole website, and are not added together into a total.

  • pagesReturnedinteger

    The number of pages in items, which is the number you are billed for.

  • reportedFailedinteger

    The number of pages the crawl reported as failed, or null when the source does not report a complete count.

  • reportedSkippedinteger

    The number of pages the crawl reported as skipped, including those robots.txt disallows, or null when the source does not report a complete count.

top level
  • foundboolean

    true

  • reason"not_found"

    Present only when `found` is false, and says why there is no result. `not_found`: the source states the target does not exist, or returned nothing for it. A `found: false` answer is a successful call, not an error, and `costUsd` is what it actually cost.

Вы получаете. Именованные типизированные поля в одном формате, какой бы источник ни ответил.

Вопросы и ответы

Об API Web Scraping Обход сайта

AnyAPI Web Scraping Обход сайта API возвращает данные Web Scraping в виде нормализованного JSON одним вызовом POST к /v1/run/web.crawl. Обходит сайт и возвращает чистый текст до 10 страниц в одном нормализованном ответе: удобно для передачи сайтов в LLM и поисковые индексы. AnyAPI направляет каждый запрос по источникам (их 3) и автоматически переключается, если один из них отказывает. Это стоит 1,25 USD за 1000 результатов, и никогда не больше 0,0125 USD за один запрос, в долларах США, без подписки и без ежемесячного минимума. За последние 30 дней 98,0% вызовов Web Scraping Обход сайта через AnyAPI завершились успешно, медианное время ответа 10,6 с, измерено вызовов: 1 299.

Это стоит 1,25 USD за 1000 результатов, и никогда не больше 0,0125 USD за один запрос, в долларах США, без подписки и без ежемесячного минимума. Вы пополняете один кошелёк в долларах США, и каждый вызов списывает с него. По некоторым неудавшимся запросам, оплаченным из кошелька, возникают расходы на обработку; мы передаём их по себестоимости, без наценки, а сумма списания указана в ответе с ошибкой.

Обходит сайт и возвращает чистый текст до 10 страниц в одном нормализованном ответе: удобно для передачи сайтов в LLM и поисковые индексы. Ответ это нормализованный JSON с тем же конвертом, что возвращает каждый эндпоинт AnyAPI, поэтому разбор второго эндпоинта это смена URL и ничего больше.

За последние 30 дней 98,0% вызовов Web Scraping Обход сайта через AnyAPI завершились успешно, медианное время ответа 10,6 с, измерено вызовов: 1 299. Это собственные измерения AnyAPI по трафику через шлюз, пересчитываемые непрерывно, а не опубликованный целевой уровень обслуживания.

Да. Новый аккаунт AnyAPI стартует с бесплатным балансом 0,10 USD, карта не нужна. Этого хватает минимум на 8 вызовов Web Scraping Обход сайта по цене до 0,0125 USD за каждый.

AnyAPI в том же запросе обращается к следующему из источников (их 3), начиная с самого дешёвого, поэтому отказ одного источника не ломает ваш вызов.

Отправьте запрос POST на https://api.getanyapi.com/v1/run/web.crawl с вашим ключом AnyAPI в заголовке "Authorization: Bearer" и входными данными в теле JSON. Один и тот же ключ и один и тот же кошелёк работают на каждом эндпоинте AnyAPI.

Нет. Вы пополняете один предоплаченный баланс AnyAPI в долларах США, и каждый запрос списывает с него. Ежемесячного тарифа и минимума нет, а один и тот же баланс оплачивает каждый эндпоинт AnyAPI.

Да. Установите @getanyapi/sdk из npm для TypeScript или getanyapi из pip для Python. Оба вызывают любой эндпоинт AnyAPI с одним и тем же ключом, а ещё подойдёт любой HTTP-клиент.

Да. Агент может подключиться к MCP-серверу AnyAPI по адресу https://api.getanyapi.com/mcp или создать собственный бесплатный пробный ключ одним POST без аутентификации на https://api.getanyapi.com/agent/signup и вызывать этот эндпоинт по HTTP.