🤖 Crawl & indeksasie

robotte.txt & Tuiskaarttoetser

Voer enige tuiste URL in. Ons gaan sy robotte haal. txt en tuistekaart.xml van ons bediener, wys vir jou die kruipende riglyne en verklaar tuisteskaart's, en flag die navraag-string-kaart Urls wat duplikaat-intus-intring demotions veroorsaak.

Hoe om 'n robotte te toets.txt en tuistekaart.xml

Vier stappe, geen tekenop. Die hele tjek loop bediener-side.

1

Plak die ligging URL

Invoer enige tuiste se tuisbladsy URL. Jy het nie nodig die volledige pad na robotte.txt ooit ons kry dit van die gasheer.

2

Ons haal van ons bediener af

Ons bediener versoek robotte.txt en elke geà ̄dentifiseerde tuistekaart.xml, sodat die toets nie deur jou blaaier of jou eie kas versper word nie.

3

Lees die riglyne en tuistekaarte

Hersien die ontleedde gebruiker-agent groepe, dislaatreëls en die lys van uitgeklaarde tuistekaarts, met 'n URL-monster van elk.

4

Reg wat gemerk is

Los enige navraag-string tuistekaart Urls of geblokte-maar geëkseerde konflikte op voordat 'n soek-enjin die duplikaate demodeer.

Wat hierdie toetser toets

Dieselfde veiligheidsrelings wat ons in die binneveld gebruik voordat ons'n enkele bladsy publiseer.

📜

Krawvoorskrifte

Parses elke gebruiker-agent groep en sy Toelaat / Dislaat reëls sodat jy kan sien presies wat geblokkeer is.

🗺️

Gebroude webkaart's

Lys elke tuistekaart wat in robotte genoem word.txt, gaan haal elkeen en berig die tipe en Urltal.

⚠️

Bevraagteken-string bloat

Flass navraag-string tuistekaart Urls wat saad naby-domtrek bladsye en veroorsaak duplikaat-intring demotions.

🔗

Gaan haal gesondheid

Vangse werwers het in robotte verklaar.txt dat fout, herlei of terugkeer nie-XML takieserm stil kruipaars.

Dikwels gevra vrae

'n Enkele navraag-string URL in' n tuistekaart kan duisende naby-dooi bladsye saad. Soek enjins kruip hulle, vind dieselfde inhoud onder verskillende parameters en demoleer die hele tros vir duplikaat inhoud. Hierdie toetser strooi hulle voor dit gebeur.
Nee. 'n Veronttrekte of leë robotte. txt laat eenvoudig toe dat alle kruip. Die risiko is die teenoorgestelde:' n Oorpad dislaat wat blokke jy wil hê indeks, of 'n tuistekaart wat in robotte genoem word.txt wat gee terug 'n fout.
Nee. Ons haal robotte.txt en die ruimtekaarts wat dit verklaar, en lees dan 'n monster van URLs van elk. Ons kruip nie rekursief elke bladsy nie, so die toets is vinnig en sal nie jou bediener laai nie.
Ja, die toetsmaker is vry met geen teken op. Programmatic toegang via 'n REST API is beskikbaar op die betaalde planne.
⚙️ Vir ontwikkelaars

Laat dit in jou pyp loop

Hierdie toetser loop geheel en al bediener-side illa jy stuur in 'n URL, ons agterkant gaan haal en ontleed robotte. txt en die aangekondigde tuistekaarts, dan her-oorgawe hierdie bladsy met die resultate. 'n Programmamatiese RST API vir CI/CD en grootmaat-adering is beskikbaar op die betaalde planne. Sien planne →