roboti.txt in mapa tester
Vnesite katero koli spletno stran URL. Pridobimo njene robote.txt in spletno stranmap.xml iz našega strežnika, vam pokažemo polz direktive in deklarirane zemljevide strani, in označimo spletne strani za vprašanje-string URL-je, ki povzročajo dvostruko vsebino demoliranja.
Kako preizkusiti robote.txt in sitemap.xml
Štiri korake, brez prijave.
Prilepi URL spletnega mesta
Vnesite URL naslovne strani spletnega mesta. Ne potrebujete celotne poti do datoteke robots.txt, saj jo pridobimo iz naslova spletnega mesta.
Pridobivamo od strežnika
Naš strežnik zahteva robote.txt in vse deklarirane spletne stranimap.xml, tako da test ni blokiran s strani vašega brskalnika ali lastnega predpomnilnika.
Preberite direktive in zemljevide lokacij
Pregledati razčlenjene skupine uporabnikov-agentov, prepovedati pravila in seznam prijavljenih zemljevidov strani, z URL vzorcem iz vsake.
Popravi, kar je označeno.
Reševanje vseh naslovov spletne strani za poizvedovanje ali blokiranih, vendar indeksiranih konfliktov, preden iskalnik razgradi dvojnike.
Kaj ta tester preveri
Iste stražarske steze, ki jih tečemo notranjost, preden objavimo eno stran.
Pravila o pužkih
Razčleni vsako skupino uporabnikov- agentov in njena pravila Dovoli/Zanesi, da lahko vidite, kaj je blokirano.
Deklarirani zemljevidi lokacije
Navaja vse zemljevide, ki so napisane v robotih.txtu, prinaša vsakega, in poroča o vrsti in številu URL.
Napihni vrstico za poizvedbo
Zastavice za zaslišanje-string spletne strani URL, ki sejajo blizu-duplikate strani in sprožijo dvo-vsebnost demolacije.
Prinesi zdravje
Napake, preusmeritve ali neveljavne XML datoteke, ki so deklarirane v robots.txt, lahko preprečijo indeksiranje strani. To so "tihe" težave, ki lahko preprečijo pravilno obdelavo spletne strani s strani iskalnikov.
Pogosta vprašanja
Poskrbi zanj.
Ta preizkušalnik deluje izključno na strani strežnika. Vnesete URL, naš strežnik pridobi in analizira datoteko robots.txt ter deklarirane sitemape, nato pa stran ponovno prikaže z rezultati. Programski REST API za integracijo/distribucijo (CI/CD) in množično preverjanje je na voljo v okviru plačljivih paketov. Glej načrte →
Uporabi ga programsko
Vse funkcije so dostopne prek enega avtenticiranega REST API-ja v načrtih Pro in API. Integrirajte jih v vaše sisteme za neprekinjeno integracijo, sisteme za upravljanje vsebin ali nadzorne plošče.