robots.txt & Sitemap Tester
Indtast ethvert websted URL. Vi henter dets robots.txt og sitemap.xml fra vores server, viser dig de kravle direktiver og erklærede sitemaps, og flager forespørgslen-streng sitemap URL'er, der forårsager dublet-indhold demotions.
Sådan tester du en robots.txt og sitemap.xml
Fire trin, ingen tilmelding.
Indsæt webstedets URL
Indtast et websteds hjemmeside URL. Du behøver ikke den fulde vej til robots.txt, fordi vi stammer fra værten.
Vi henter fra vores server
Vores server anmoder om robots.txt og hver deklareret sitemap.xml, så testen ikke er blokeret af din browser eller din egen cache.
Læs direktiverne og stedsmapperne
Gennemgå parsed bruger-agent grupper, afvise regler og listen over deklarerede sitemaps, med en URL-prøve fra hver.
Fix hvad der er markeret
Løs eventuelle spørgsmål-streng sitemap URL'er eller blokeret-men-indekserede konflikter, før en søgemaskine demoterer duplikaterne.
Hvad testeren kontrollerer
De samme vagtskinner vi kører internt før vi udgiver en enkelt side.
Kravsdirektiver
Svarer til hver bruger-agent gruppe og dens Tillad / Tillad regler, så du kan se præcis, hvad der er blokeret.
Angivede stednavne
Lister hver sitemap refereres i robots.txt, henter hver, og rapporterer sin type og URL tæller.
Forespørgselsstreng bloat
Flags forespørgsel-streng sitemap URL'er, der frø nær-duplikere sider og udløse dublet-indhold demotions.
Hent sundhed
Fangster sitemaps erklæret i robots.txt at fejl, omdirigere, eller returnere ikke-XML. De er stille kravlemordere.
Ofte stillede spørgsmål
Kør det i din pipeline
Denne tester kører helt server-side. Du indsender en URL, vores backend henter og parses robots.txt og de angivne sitemaps, derefter re-renders denne side med resultaterne. En programmatisk REST API for CI / CD og bulk revision er tilgængelig på de betalte forvaltede planer. Se planer →
Brug det programmatisk
Hvert værktøj er tilgængelig via en godkendt REST API på Pro og API planer. Skab den ind i din CI, CMS eller dashboards.