Web Scraping Обход сайта API
Обходит сайт и возвращает чистый текст до 10 страниц в одном нормализованном ответе: удобно для передачи сайтов в LLM и поисковые индексы.
1,25 USD/1 тыс. результатов, оплата за запрос, без подписки.
Example - Build something great
Example is the platform teams use to ship faster…
{"url": "https://www.example.com","title": "Example - Build something great","text": "Example is the platform teams use to ship faster…","author": string | null,"canonicalUrl": string | null,"contentType": string | null,"description": string,"domain": string,... ещё полей: 9}
Цены и поставщики
Цена API Web Scraping Обход сайта: один API, поставщиков 3, и любой может заменить другого
Первым обслуживает самый дешёвый поставщик. Если он не отвечает, его заменяет следующий в том же вызове.
не больше 0,0125 USD за запрос1 результат0,00125 USDРезультатов: 50,00625 USDРезультатов: 10Лимит 0,0125 USDВы платите за то, что вернулось. Снизьте лимит, чтобы платить меньше: ни один запрос не обойдётся дороже лимита, сколько бы ни вернулось.2BisonРезерв 1Доступность: 60,53%15053ms p5022,8% вызовов22,8%Вызовов: 691,25 USD/1 тыс. результатовдо 0,0125 USD / запросТарификация за результат: возвращено0,00125 USD за результат
не больше 0,0125 USD за запрос1 результат0,00125 USDРезультатов: 50,00625 USDРезультатов: 10Лимит 0,0125 USDВы платите за то, что вернулось. Снизьте лимит, чтобы платить меньше: ни один запрос не обойдётся дороже лимита, сколько бы ни вернулось.3SalamanderРезерв 2Доступность: 31,58%14268ms p507,9% вызовов7,9%Вызовов: 241,25 USD/1 тыс. результатовдо 0,0125 USD / запросТарификация за результат: возвращено0,00125 USD за результат
не больше 0,0125 USD за запрос1 результат0,00125 USDРезультатов: 50,00625 USDРезультатов: 10Лимит 0,0125 USDВы платите за то, что вернулось. Снизьте лимит, чтобы платить меньше: ни один запрос не обойдётся дороже лимита, сколько бы ни вернулось.
Попробовать
Получите Web Scraping Обход сайта одним запросом
В этом примере показано полей: 6 из 31. Все поля
{
"found": true,
"data": {
"items": [
{
"url": "https://www.example.com",
"title": "Example - Build something great",
"text": "Example is the platform teams use to ship faster…"
},
{
"url": "https://www.example.com/pricing",
"title": "Pricing - Example",
"text": "Simple plans for teams of every size…"
}
]
}
}Полный справочник по параметрам и ответу: каждое поле, тип и пример для этого эндпоинта.
Справочник
Один запрос, один формат ответа.
Каждое поле, которое вы отправляете, и каждое поле, которое получаете, с реальным примером.
Проверено 2026-11-21 · доступность и задержка измерены за 30d
Тело запроса
JSON, отправляется на этот эндпоинт.
- urlstring
https://www.example.com
The website URL or domain to crawl. Pages linked from it on the same site are crawled too.
- limitinteger
Maximum number of pages to crawl and return (1-10, default 10). You are billed per page returned, so a lower limit costs less.
- requireFieldsarray
Optional; omit it and routing is unchanged. Name the output fields this request must be able to return, for example `language`, and it is served only by a source that returns every one of them. Fields you do not name are still returned whenever the serving source has them. Every source charges the same per page, so this never changes your price. A named field can still be empty on a page that genuinely lacks it.
Ответ
JSON, по одному примеру значения на поле.
Pages the crawl reported as failed or skipped. They are never in items and never billed. The list holds what the crawl reported, not every page of the site.
- outcome"failed" | "robots_disallowed" | "skipped"
failed: the page could not be fetched or answered with an HTTP error. robots_disallowed: the site's robots.txt does not allow crawling it. skipped: the crawl did not fetch it, for example because it is outside the crawled site.
- statusCodeinteger
The HTTP status code the page answered with, or null when unknown.
- urlstring
The page's URL.
One record per crawled page: its URL and domain, page title, meta description, language, HTTP status, the page content as Markdown text, and the page metadata the source reports. You are billed for these pages only. Populated whenever the provider has data for the entity.
- authorstringможет потребовать
The author the page declares, or null when unknown.
- canonicalUrlstringможет потребовать
The canonical URL the page declares in its own markup, or null when it declares none or the source does not report it.
- contentTypestringможет потребовать
The content type the page was served with (for example text/html;charset=utf-8), or null when unknown.
- descriptionstring
The page's meta description, empty when the page has none.
- domainstring
The page's host name, without a leading www. Populated whenever the provider has data for the entity.
- jsonLdany[]может потребовать
The JSON-LD structured data blocks the page publishes (schema.org Organization, LocalBusiness, BreadcrumbList and so on), as parsed JSON, or null when the source does not report them. They are the publisher's own claims, not verified facts.
- languagestringможет потребовать
The page's declared language code (for example en-US), or null when unknown.
- modifiedUtcintegerможет потребовать
When the page says it was last modified, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.
- publishedUtcintegerможет потребовать
When the page says it was published, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.
- robotsstringможет потребовать
The page's robots meta directives (for example noindex, nofollow), or null when it declares none or the source does not report them.
- siteNamestringможет потребовать
The site name the page declares (its og:site_name), or null when unknown.
- sourceUrlstring
The URL the crawler requested for this page, before any redirect, or null when unknown.
- statusCodeinteger
The HTTP status code the page answered with, or null when unknown.
- textstring
Example is the platform teams use to ship faster…
The page content as Markdown. Populated whenever the provider has data for the entity.
- titlestring
Example - Build something great
The page title, empty when the page has none (a PDF, for example).
- urlstring
https://www.example.com
The crawled page's URL, after any redirect. Populated whenever the provider has data for the entity.
The page's headings in document order, each with its level (1 for an h1) and text, or null when the source does not report them.
- levelinteger
The heading level, 1 to 6.
- textstring
The heading text.
Counts for this crawl. They describe the pages this crawl visited and reported, not the whole website, and are not added together into a total.
- pagesReturnedinteger
The number of pages in items, which is the number you are billed for.
- reportedFailedinteger
The number of pages the crawl reported as failed, or null when the source does not report a complete count.
- reportedSkippedinteger
The number of pages the crawl reported as skipped, including those robots.txt disallows, or null when the source does not report a complete count.
- foundboolean
true
- reason"not_found"
Present only when `found` is false, and says why there is no result. `not_found`: the source states the target does not exist, or returned nothing for it. A `found: false` answer is a successful call, not an error, and `costUsd` is what it actually cost.
Вопросы и ответы
Об API Web Scraping Обход сайта
AnyAPI Web Scraping Обход сайта API возвращает данные Web Scraping в виде нормализованного JSON одним вызовом POST к /v1/run/web.crawl. Обходит сайт и возвращает чистый текст до 10 страниц в одном нормализованном ответе: удобно для передачи сайтов в LLM и поисковые индексы. AnyAPI направляет каждый запрос по источникам (их 3) и автоматически переключается, если один из них отказывает. Это стоит 1,25 USD за 1000 результатов, и никогда не больше 0,0125 USD за один запрос, в долларах США, без подписки и без ежемесячного минимума. За последние 30 дней 98,0% вызовов Web Scraping Обход сайта через AnyAPI завершились успешно, медианное время ответа 10,6 с, измерено вызовов: 1 299.