🤖 Puzanje & indeksiranje

roboti.txt i Mapa stranica Tester

Unesite bilo koju stranicu URL. Mi dovodimo svoje robote.txt i sitemap.xml s našeg servera, vam pokazati puzz direktive i deklarirane mape stranica, i označiti upit- string stranice map URL-a koji uzrokuju demotions duplikata-sadržaj.

Kako testirati robote.txt i sitemap.xml

Četiri koraka, nema prijave, cijeli provjera vodi na poslužitelju.

1

Naljepljeno URL stranice

Unesite adresu stranice bilo koje stranice. Ne trebate punu putanju do robota.txt - izvodimo je od domaćina.

2

Mi dobijamo s našeg servera

Naš server traži robote.txt i svaku deklariranu mapu stranica.xml, tako da test nije blokiran od strane vašeg preglednika ili vlastite keš.

3

Pročitajte smjernice i mape stranica

Pregledati analizirane korisničke agente grupe, zabranjuje pravila i popis prijavljenih mapa stranica, s URL uzorkom iz svake.

4

Popravite što je označeno

Rješi bilo koje URL-ove upit-nig stranice mape ili blokirane-ali-indeksirane sukobe prije nego pretraživač demotira duplikate.

Što ovaj tester provjerava

Isti stražari koje vodimo interno prije objavljivanja jedne stranice.

📜

Smjernice za puzanje

Analizira svaku korisničko- agentsku grupu i njena Dozvola / Odbaci pravila tako da možete vidjeti točno što je blokirano.

🗺️

Proglašene mape stranica

Navodi sve mape stranica referentirane u robotima.txt, dovodi svakizvještava svoj tip i broj URL-ova.

⚠️

Upit-string napihnut

Zastave upita-string stranica mapa URL- a koji sjeme blizu-duplikacije stranice i okidaju dvostruko-sadržanost demolacije.

🔗

Donesi zdravlje

Ulov mape stranica proglašene u robotima.txt da je greška, preusmjeravanje, ili povratak ne-XML – tihi puzanje ubojica.

Česta pitanja

Jedan upit-string URL u mapi stranica može zasjeniti tisuće stranica blizu-duplikacije. Pretraživač ih puzati, pronaći isti sadržaj pod različitim parametrima, i demotrirati cijeli klaster za dupliciranje sadržaja. Ovaj tester ih zastave prije nego što se to dogodi.
Ne. Nedostaju ili prazne roboti.txt jednostavno omogućuje sve puzanje. Rizik je suprotno: prekomjerna deaktivacija da blokira stranice koje želite indeksirati, ili stranica mapa deklarirana u robotima.txt koji vraća grešku.
Ne. Mi dovodimo robote.txt i mape stranica koje je deklarira, zatim pročitati uzorak URL-a iz svake. Ne rekurzivno puzati svaku stranicu, tako da je test je brz i neće učitati svoj poslužitelj.
Da, tester je besplatno bez prijave. Programmatski pristup putem REST API je dostupan na plaćenim upravljanim planovima.
⚙️ Za programere

Pokrenite ga u svom naftovodu

Ovaj tester radi potpuno poslužitelj-strana – podnosite URL, naš pozadinski dio donosi i analizira robote.txt i deklarirane mape stranica, zatim re-regenerira ovu stranicu s rezultatima. Programski REST API za CI/CD i masovni revizija je dostupna na plaćenim upravljanim planovima. Vidjeti planove →