robots.txt & Sitemap Tester
Ange alla webbplatser URL. Vi hämtar dess robots.txt och sitemap.xml från vår server, visar dig krypdirektiv och deklarerade sitemaps, och flagga frågesträng webbplatsmap URLs som orsakar dubbletter innehåll demotioner.
Hur man testar en robots.txt och sitemap.xml
Fyra steg, ingen registrering.
Klistra in webbplatsens webbadress
Ange URL:en till startsidan för den webbplats du vill analysera. Du behöver inte ange hela sökvägen till robots.txt-filen, eftersom vi kan härleda den från webbplatsens domän.
Vi hämtar från vår server
Vår server begär robots.txt och varje deklarerad sitemap.xml, så testet blockeras inte av din webbläsare eller din egen cache.
Läs direktiven och webbplatskartorna
Granska de uttolkade användaragentgrupperna, avvisa regler och listan över deklarerade sitemaps, med ett URL-prov från varje.
Fixa det som är flaggat
Lös eventuella söksträng webbplatskarta URL:er eller blockerade men indexerade konflikter innan en sökmotor degraderar dubbletter.
Vad denna testare kontrollerar
Samma skyddsräcken kör vi internt innan vi publicerar en enda sida.
Direktiv om sprickbildning
Parserar varje användaragentgrupp och dess Tillåt / Avsägelse regler så att du kan se exakt vad som är blockerat.
Deklarerade webbplatskartor
Listar varje sitemap refereras i robots.txt, hämtar varje, och rapporterar sin typ och URL-räkning.
Fråga-strängssvaghet
Flaggs frågesträng sitemap URLs som frö nära duplicera sidor och utlösa dubblett innehåll demotioner.
Hämta hälsa
Identifierar sitemaps som anges i robots.txt och som innehåller fel, omdirigeringar eller som returnerar data som inte är i XML-format. Dessa kan stoppa indexeringen av webbplatsen utan att ge någon varning.
Vanliga frågor
Kör den i din pipeline
Denna testfunktion körs helt på serversidan. Du anger en URL, vår backend hämtar och analyserar robots.txt-filen samt de angivna sitemaps-filerna, och återskapar sedan den här sidan med resultaten. Ett programmatiskt REST API för CI/CD och massgranskning finns tillgängligt i de betalda, hanterade abonnemangen. Se planer →
Använd den programmatiskt
Alla verktyg är tillgängliga via ett enda, autentiserat REST API i Pro- och API-abonnemangen. Integrera dem i dina CI-system, CMS-plattformar eller dashboards.