🤖 Kryb og indeksering

robots.txt & Sitemap Tester

Indtast ethvert websted URL. Vi henter dets robots.txt og sitemap.xml fra vores server, viser dig de kravle direktiver og erklærede sitemaps, og flager forespørgslen-streng sitemap URL'er, der forårsager dublet-indhold demotions.

Sådan tester du en robots.txt og sitemap.xml

Fire trin, ingen tilmelding.

1

Indsæt webstedets URL

Indtast et websteds hjemmeside URL. Du behøver ikke den fulde sti til robots.txt! vi udlede det fra værten.

2

Vi henter fra vores server

Vores server anmoder om robots.txt og hver deklareret sitemap.xml, så testen ikke er blokeret af din browser eller din egen cache.

3

Læs direktiverne og stedsmapperne

Gennemgå parsed bruger-agent grupper, afvise regler og listen over deklarerede sitemaps, med en URL-prøve fra hver.

4

Fix hvad der er markeret

Løs eventuelle spørgsmål-streng sitemap URL'er eller blokeret-men-indekserede konflikter, før en søgemaskine demoterer duplikaterne.

Hvad testeren kontrollerer

De samme vagtskinner vi kører internt før vi udgiver en enkelt side.

📜

Kravsdirektiver

Svarer til hver bruger-agent gruppe og dens Tillad / Tillad regler, så du kan se præcis, hvad der er blokeret.

🗺️

Angivede stednavne

Lister hver sitemap refereres i robots.txt, henter hver, og rapporterer sin type og URL tæller.

⚠️

Forespørgselsstreng bloat

Flags forespørgsel-streng sitemap URL'er, der frø nær-duplikere sider og udløse dublet-indhold demotions.

🔗

Hent sundhed

Fangster sitemaps erklæret i robots.txt at fejl, omdirigere, eller returnere ikke-XML ~ tavse kravle mordere.

Ofte stillede spørgsmål

En enkelt forespørgsel- streng URL i et sitemap kan så tusindvis af nær- duplikat sider. Søgemaskiner kravle dem, finde det samme indhold under forskellige parametre, og demotere hele klyngen for duplikat indhold. Denne tester flag dem, før det sker.
Nej. En manglende eller tomme robotter.txt tillader simpelthen alle kravlende. Risikoen er den modsatte: en over-bred afvisning, der blokerer sider, du ønsker indekseret, eller et sitemap angivet i robots.txt, der returnerer en fejl.
Nej. Vi henter robots.txt og sitemaps det erklærer, og derefter læse en prøve af URL'er fra hver. Vi ikke rekursivt kravle hver side, så testen er hurtig og vil ikke indlæse din server.
Ja, testeren er gratis uden tilmelding. Programmatisk adgang via en REST API er tilgængelig på de betalte administrerede planer.
⚙️ Til udviklere

Kør det i din pipeline

Denne tester kører helt server-side ! du indsender en URL, vores backend henter og parses robotter.txt og de angivne sitemaps, derefter re-re-renderer denne side med resultaterne. En programmatisk REST API for CI / CD og bulk revision er tilgængelig på de betalte administrerede planer. Se planer →