robots.txt & testing i nettkart
Oppgi en nettadresse til nettstedet. Vi henter robotene.txt og sitemap.xml fra tjeneren vår, viser deg direktivene om kryper og deklarerte nettstedene, og flagger URL-ene for spørring-streng-kart som gir demosjoner med duplisert innhold.
Hvordan teste en robots.txt og sitemap.xml
Fire steg, ingen registrering. hele sjekken kjører på tjenersiden.
Lim inn nettstedets nettadresse
Oppgi nettadresse til nettstedet til et hvilket som helst nettsted. Du trenger ikke hele veien til roboter.txt, fordi vi avleder den fra verten.
Vi henter fra tjeneren vår
Vår tjener ber robots.txt og hver deklarert sitemap.xml, så testen er ikke blokkert av din nettleser eller ditt eget mellomlager.
Les direktivene og stedskartene
Gjennomgå de tolkede brukeragentgruppene, la ikke reglene og listen over deklarerte stedskartene omfatte URL-prøver fra hver enkelt gruppe.
Rett opp det som er flagget
Løs opp alle nettsteds- URL- er for spørringsstrenger eller blokkerte men- indekserte konflikter før en søkemotor demper duplikatene.
Hva denne testeren kontrollerer
De samme beskyttelsesskinnene vi kjører internt før vi publiserer en enkelt side.
Krusdirektiver
Tolker hver brukeragentgruppe og dens Tillat/la være regler så du kan se nøyaktig hva som er blokkert.
Deklarerte kart over området
Lister hvert nettsted som det vises til i robots.txt, henter hver og rapporterer type og URL-antall.
Spørrestreng- bloat
Flagg forespørsel-streng- sitemap-adresser som deler nær- dupliserte sider og utløser dupliserte objekter med innhold.
Hent helse
Fanger sitekart erklært i robots.txt at feilen, omdirigering eller retur ikke-XML. Dette er stille krypemordere.
Ofte stilte spørsmål
Kjør den i røret ditt
Denne testeren kjører helt på tjenersiden. Du sender inn en URL, motoren vår henter og tolker roboter.txt og de oppgitte nettstedskartene, gir denne siden igjen med resultatet. Et programmatisk REST API for CI/CD og bulkrevisjon er tilgjengelig på de betalte forvaltningsplanene. Se planer →
Bruk det programmatisk
Hvert verktøy er tilgjengelig gjennom ett autentisert REST API på Pro og API planer. Kable det inn i dine CI, CMS, eller instrumentbord.