Crawl & indeksasie

robotte.txt & Tuiskaarttoetser

Voer enige tuiste URL in. Ons gaan sy robotte haal. txt en tuistekaart.xml van ons bediener, wys vir jou die kruipende riglyne en verklaar tuisteskaart's, en flag die navraag-string-kaart Urls wat duplikaat-intus-intring demotions veroorsaak.

Hoe om 'n robotte te toets.txt en tuistekaart.xml

Vier stappe, geen tekenop. Die hele tjek loop bediener-side.

1

Plak die ligging URL

Invoer enige tuiste se tuisbladsy Url. Jy het nie die volle pad na robotte nodig nie.

2

Ons haal van ons bediener af

Ons bediener versoek robotte.txt en elke geà ̄dentifiseerde tuistekaart.xml, sodat die toets nie deur jou blaaier of jou eie kas versper word nie.

3

Lees die riglyne en tuistekaarte

Hersien die ontleedde gebruiker-agent groepe, dislaatreëls en die lys van uitgeklaarde tuistekaarts, met 'n URL-monster van elk.

4

Reg wat gemerk is

Los enige navraag-string tuistekaart Urls of geblokte-maar geëkseerde konflikte op voordat 'n soek-enjin die duplikaate demodeer.

Wat hierdie toetser toets

Dieselfde veiligheidsrelings wat ons in die binneveld gebruik voordat ons'n enkele bladsy publiseer.

📜

Krawvoorskrifte

Parses elke gebruiker-agent groep en sy Toelaat / Dislaat reëls sodat jy kan sien presies wat geblokkeer is.

🗺️

Gebroude webkaart's

Lys elke tuistekaart wat in robotte genoem word.txt, gaan haal elkeen en berig die tipe en Urltal.

⚠️

Bevraagteken-string bloat

Flass navraag-string tuistekaart Urls wat saad naby-domtrek bladsye en veroorsaak duplikaat-intring demotions.

🔗

Gaan haal gesondheid

Vangse werwers het in robotte verklaar.txt dat fout, herlei of terugverwys nie-XML. Hulle is stille kruipende doders.

Dikwels gevra vrae

'n Enkele navraag-string URL in' n tuistekaart kan duisende naby-dooi bladsye saad. Soek enjins kruip hulle, vind dieselfde inhoud onder verskillende parameters en demoleer die hele tros vir duplikaat inhoud. Hierdie toetser strooi hulle voor dit gebeur.
Nee. 'n Veronttrekte of leë robotte. txt laat eenvoudig toe dat alle kruip. Die risiko is die teenoorgestelde:' n Oorpad dislaat wat blokke jy wil hê indeks, of 'n tuistekaart wat in robotte genoem word.txt wat gee terug 'n fout.
Nee. Ons haal robotte.txt en die ruimtekaarts wat dit verklaar, en lees dan 'n monster van URLs van elk. Ons kruip nie rekursief elke bladsy nie, so die toets is vinnig en sal nie jou bediener laai nie.
Ja, die toetsmaker is vry met geen teken op. Programmatic toegang via 'n REST API is beskikbaar op die betaalde planne.
Vir ontwikkelaars

Laat dit in jou pyp loop

Hierdie toetser loop geheel en al bediener-side. Jy stuur 'n URL in, ons agterkant gaan haal en ontleed robotte. txt en die verklaarde tuistekaarts, dan her-oorgawes hierdie bladsy met die resultate. ' n Programmatiese REST API vir CI/CD en groot hoeveelhede oudoudering is beskikbaar op die betaalde planne. Sien planne →

ontwikkelaar API

Gebruik dit op'n duidelike manier

Elke hulpmiddel is beskikbaar deur een verifieerde REST API op die Pro - en API - planne. Maak dit skoon in jou CI, CMS of paneelborde.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Kry 'n API-sleutel → Metgesmeer, per-roep priscing. Vry vlak vir die interaktiewe gereedskap hierbo.
Gaan elke bladsy van jou webwerf na, nie een op 'n slag nie
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
Sien hoe Pro werk