Web Scraping Crawl del sito web API
Fai il crawl di un sito web e ottieni testo pulito da un massimo di 10 pagine in un'unica risposta normalizzata - ideale per dare siti in pasto a LLM e indici di ricerca.
1,25 USD/1k risultati, paghi a richiesta, nessun abbonamento.
Example - Build something great
Example is the platform teams use to ship faster…
{"url": "https://www.example.com","title": "Example - Build something great","text": "Example is the platform teams use to ship faster…","author": string | null,"canonicalUrl": string | null,"contentType": string | null,"description": string,"domain": string,... 9 campi in più}
Prezzi e provider
Prezzi dell'API Web Scraping Crawl del sito web: una sola API, 3 provider intercambiabili
Serve per primo il provider più economico. Se fallisce, subentra il successivo nella stessa chiamata.
con tetto di 0,0125 USD a richiesta1 risultato0,00125 USD5 risultati0,00625 USD10 risultatitetto di 0,0125 USDPaghi per ciò che torna indietro. Abbassa il limite per pagare meno - e nessuna singola richiesta può costare più del tetto, per quanto torni indietro.2BisonRiserva 160,53% di disponibilità15053ms p5022,8% delle chiamate22,8%69 chiamate1,25 USD/1k risultatifino a 0,0125 USD / richiestaCalcolato per risultato restituito0,00125 USD per risultato
con tetto di 0,0125 USD a richiesta1 risultato0,00125 USD5 risultati0,00625 USD10 risultatitetto di 0,0125 USDPaghi per ciò che torna indietro. Abbassa il limite per pagare meno - e nessuna singola richiesta può costare più del tetto, per quanto torni indietro.3SalamanderRiserva 231,58% di disponibilità14268ms p507,9% delle chiamate7,9%24 chiamate1,25 USD/1k risultatifino a 0,0125 USD / richiestaCalcolato per risultato restituito0,00125 USD per risultato
con tetto di 0,0125 USD a richiesta1 risultato0,00125 USD5 risultati0,00625 USD10 risultatitetto di 0,0125 USDPaghi per ciò che torna indietro. Abbassa il limite per pagare meno - e nessuna singola richiesta può costare più del tetto, per quanto torni indietro.
Provalo
Ottieni Web Scraping Crawl del sito web in una sola richiesta
Questo esempio mostra 6 campi su 31. Vedi tutti i campi
{
"found": true,
"data": {
"items": [
{
"url": "https://www.example.com",
"title": "Example - Build something great",
"text": "Example is the platform teams use to ship faster…"
},
{
"url": "https://www.example.com/pricing",
"title": "Pricing - Example",
"text": "Simple plans for teams of every size…"
}
]
}
}Riferimento completo di parametri e risposta - ogni campo, tipo ed esempio per questo endpoint.
Riferimento
Una richiesta, una sola forma di risposta.
Ogni campo che invii e ogni campo che ricevi, ciascuno con un esempio reale.
Ultima verifica 2026-11-21 · disponibilità e latenza misurate su 30d
Corpo della richiesta
JSON, inviato a questo endpoint.
- urlstring
https://www.example.com
The website URL or domain to crawl. Pages linked from it on the same site are crawled too.
- limitinteger
Maximum number of pages to crawl and return (1-10, default 10). You are billed per page returned, so a lower limit costs less.
- requireFieldsarray
Optional; omit it and routing is unchanged. Name the output fields this request must be able to return, for example `language`, and it is served only by a source that returns every one of them. Fields you do not name are still returned whenever the serving source has them. Every source charges the same per page, so this never changes your price. A named field can still be empty on a page that genuinely lacks it.
Risposta
JSON, un valore di esempio per campo.
Pages the crawl reported as failed or skipped. They are never in items and never billed. The list holds what the crawl reported, not every page of the site.
- outcome"failed" | "robots_disallowed" | "skipped"
failed: the page could not be fetched or answered with an HTTP error. robots_disallowed: the site's robots.txt does not allow crawling it. skipped: the crawl did not fetch it, for example because it is outside the crawled site.
- statusCodeinteger
The HTTP status code the page answered with, or null when unknown.
- urlstring
The page's URL.
One record per crawled page: its URL and domain, page title, meta description, language, HTTP status, the page content as Markdown text, and the page metadata the source reports. You are billed for these pages only. Populated whenever the provider has data for the entity.
- authorstringpuò richiedere
The author the page declares, or null when unknown.
- canonicalUrlstringpuò richiedere
The canonical URL the page declares in its own markup, or null when it declares none or the source does not report it.
- contentTypestringpuò richiedere
The content type the page was served with (for example text/html;charset=utf-8), or null when unknown.
- descriptionstring
The page's meta description, empty when the page has none.
- domainstring
The page's host name, without a leading www. Populated whenever the provider has data for the entity.
- jsonLdany[]può richiedere
The JSON-LD structured data blocks the page publishes (schema.org Organization, LocalBusiness, BreadcrumbList and so on), as parsed JSON, or null when the source does not report them. They are the publisher's own claims, not verified facts.
- languagestringpuò richiedere
The page's declared language code (for example en-US), or null when unknown.
- modifiedUtcintegerpuò richiedere
When the page says it was last modified, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.
- publishedUtcintegerpuò richiedere
When the page says it was published, as a UTC epoch timestamp in seconds (Unix time), or null when unknown. Multiply by 1000 for a JS Date in milliseconds.
- robotsstringpuò richiedere
The page's robots meta directives (for example noindex, nofollow), or null when it declares none or the source does not report them.
- siteNamestringpuò richiedere
The site name the page declares (its og:site_name), or null when unknown.
- sourceUrlstring
The URL the crawler requested for this page, before any redirect, or null when unknown.
- statusCodeinteger
The HTTP status code the page answered with, or null when unknown.
- textstring
Example is the platform teams use to ship faster…
The page content as Markdown. Populated whenever the provider has data for the entity.
- titlestring
Example - Build something great
The page title, empty when the page has none (a PDF, for example).
- urlstring
https://www.example.com
The crawled page's URL, after any redirect. Populated whenever the provider has data for the entity.
The page's headings in document order, each with its level (1 for an h1) and text, or null when the source does not report them.
- levelinteger
The heading level, 1 to 6.
- textstring
The heading text.
Counts for this crawl. They describe the pages this crawl visited and reported, not the whole website, and are not added together into a total.
- pagesReturnedinteger
The number of pages in items, which is the number you are billed for.
- reportedFailedinteger
The number of pages the crawl reported as failed, or null when the source does not report a complete count.
- reportedSkippedinteger
The number of pages the crawl reported as skipped, including those robots.txt disallows, or null when the source does not report a complete count.
- foundboolean
true
- reason"not_found"
Present only when `found` is false, and says why there is no result. `not_found`: the source states the target does not exist, or returned nothing for it. A `found: false` answer is a successful call, not an error, and `costUsd` is what it actually cost.
FAQ
Sull'API Web Scraping Crawl del sito web
L'API Web Scraping Crawl del sito web di AnyAPI restituisce dati Web Scraping come JSON normalizzato da una sola chiamata POST a /v1/run/web.crawl. Fai il crawl di un sito web e ottieni testo pulito da un massimo di 10 pagine in un'unica risposta normalizzata - ideale per dare siti in pasto a LLM e indici di ricerca. AnyAPI instrada ogni richiesta su 3 fonti e passa automaticamente a un'altra quando una fallisce. Costa 1,25 USD ogni 1.000 risultati, e mai più di 0,0125 USD per una singola richiesta, in dollari statunitensi, senza abbonamento e senza minimo mensile. Negli ultimi 30 giorni, il 98,0% delle chiamate Web Scraping Crawl del sito web tramite AnyAPI è riuscito, con un tempo di risposta mediano di 10,6 secondi su 1299 chiamate misurate.