🤖 & Povprečna indeksacija

roboti.txt in mapa tester

Vnesite katero koli spletno stran URL. Pridobimo njene robote.txt in spletno stranmap.xml iz našega strežnika, vam pokažemo polz direktive in deklarirane zemljevide strani, in označimo spletne strani za vprašanje-string URL-je, ki povzročajo dvostruko vsebino demoliranja.

Kako preizkusiti robote.txt in sitemap.xml

Štiri korake, brez prijave.

Prilepi URL spletnega mesta

Vnesite naslov spletne strani katere koli strani. Ne potrebujete polne poti do robotov.txt – izviramo iz gostitelja.

Pridobivamo od strežnika

Naš strežnik zahteva robote.txt in vse deklarirane spletne stranimap.xml, tako da test ni blokiran s strani vašega brskalnika ali lastnega predpomnilnika.

Preberite direktive in zemljevide lokacij

Pregledati razčlenjene skupine uporabnikov-agentov, prepovedati pravila in seznam prijavljenih zemljevidov strani, z URL vzorcem iz vsake.

Popravi, kar je označeno.

Reševanje vseh naslovov spletne strani za poizvedovanje ali blokiranih, vendar indeksiranih konfliktov, preden iskalnik razgradi dvojnike.

Kaj ta tester preveri

Iste stražarske steze, ki jih tečemo notranjost, preden objavimo eno stran.

📜

Pravila o pužkih

Razčleni vsako skupino uporabnikov- agentov in njena pravila Dovoli/Zanesi, da lahko vidite, kaj je blokirano.

🗺️

Deklarirani zemljevidi lokacije

Navaja vse zemljevide, ki so napisane v robotih.txtu, prinaša vsakega, in poroča o vrsti in številu URL.

⚠️

Napihni vrstico za poizvedbo

Zastavice za zaslišanje-string spletne strani URL, ki sejajo blizu-duplikate strani in sprožijo dvo-vsebnost demolacije.

🔗

Prinesi zdravje

Ulovi zemljevide strani, ki so napovedani v robotih.txt, da napaka, preusmeritev ali vrniti ne-XML – morilci tihe polzanje.

Pogosta vprašanja

Enakšen URL za poizvedbo v karti lahko seja tisoče skoraj dvojnih strani. Iskalniki jih polzi, najdete isto vsebino pod različnimi parametri in demolirate celo skupino za dvojno vsebino. Ta tester jih zastavi pred tem.

Ne. Manjkajoči ali prazni roboti.txt preprosto omogoča vse plazi. Tveganje je nasprotno: preveč-broad display, ki blokira strani, ki jih želite indeksirati, ali mapa strani, deklarirana v robotih.txt, ki vrne napako.

Ne. Prinesemo robote.txt in zemljevide strani, ki jih razglasi, nato preberemo vzorec URL-jev iz vsake. Ne rekurzivno polzamo vsake strani, tako da je test hitro in ne bo naložil strežnika.

Da, tester je brezplačno brez prijave. Programski dostop prek REST API je na voljo na plačanih upravljanih načrtih.

⚙️ Za razvijalce

Poskrbi zanj.

Ta tester teče v celoti stran strežnika – predložite URL, naš hrbtni program prinaša in analizira robote.txt in deklarirane zemljevide strani, nato pa ponovno preda to stran z rezultati. Programski REST API za CI/CD in razsuti revizija je na voljo na plačanih upravljanih načrtih. Glej načrte →