robotte.txt & Tuiskaarttoetser
Voer enige tuiste URL in. Ons gaan sy robotte haal. txt en tuistekaart.xml van ons bediener, wys vir jou die kruipende riglyne en verklaar tuisteskaart's, en flag die navraag-string-kaart Urls wat duplikaat-intus-intring demotions veroorsaak.
Hoe om 'n robotte te toets.txt en tuistekaart.xml
Vier stappe, geen tekenop. Die hele tjek loop bediener-side.
Plak die ligging URL
Invoer enige tuiste se tuisbladsy Url. Jy het nie die volle pad na robotte nodig nie.
Ons haal van ons bediener af
Ons bediener versoek robotte.txt en elke geà ̄dentifiseerde tuistekaart.xml, sodat die toets nie deur jou blaaier of jou eie kas versper word nie.
Lees die riglyne en tuistekaarte
Hersien die ontleedde gebruiker-agent groepe, dislaatreëls en die lys van uitgeklaarde tuistekaarts, met 'n URL-monster van elk.
Reg wat gemerk is
Los enige navraag-string tuistekaart Urls of geblokte-maar geëkseerde konflikte op voordat 'n soek-enjin die duplikaate demodeer.
Wat hierdie toetser toets
Dieselfde veiligheidsrelings wat ons in die binneveld gebruik voordat ons'n enkele bladsy publiseer.
Krawvoorskrifte
Parses elke gebruiker-agent groep en sy Toelaat / Dislaat reëls sodat jy kan sien presies wat geblokkeer is.
Gebroude webkaart's
Lys elke tuistekaart wat in robotte genoem word.txt, gaan haal elkeen en berig die tipe en Urltal.
Bevraagteken-string bloat
Flass navraag-string tuistekaart Urls wat saad naby-domtrek bladsye en veroorsaak duplikaat-intring demotions.
Gaan haal gesondheid
Vangse werwers het in robotte verklaar.txt dat fout, herlei of terugverwys nie-XML. Hulle is stille kruipende doders.
Dikwels gevra vrae
Laat dit in jou pyp loop
Hierdie toetser loop geheel en al bediener-side. Jy stuur 'n URL in, ons agterkant gaan haal en ontleed robotte. txt en die verklaarde tuistekaarts, dan her-oorgawes hierdie bladsy met die resultate. ' n Programmatiese REST API vir CI/CD en groot hoeveelhede oudoudering is beskikbaar op die betaalde planne. Sien planne →
Gebruik dit op'n duidelike manier
Elke hulpmiddel is beskikbaar deur een verifieerde REST API op die Pro - en API - planne. Maak dit skoon in jou CI, CMS of paneelborde.