robots. txt & TTT- mapo- testado
Entajpu iun ajn retejan URLon. Ni prenas ĝiajn robots. txt kaj sitemap. xml el nia servilo, montras al vi la trarigardantajn direktivojn kaj deklaritajn retejamapojn, kaj markas la serĉĉenajn retejamapojn URLojn kiuj kaŭzas malaltigon de duplikata enhavo.
Kiel testi robots.txt kaj sitemap.xml
Kvar paŝoj, neniu enskribo. La tuta kontrolo okazas en la servila flanko.
Alglui la retejan URLon
Donu la hejmpaĝan URLon de iu retejo. Vi ne bezonas la plenan vojon al robots. txt - ni deduktas ĝin el la gastiganto.
Ni prenas de nia servilo
La programo uzas la dosierojn robots.txt kaj sitemap.xml por la serĉado de la retejo.
Legi la direktivoj kaj retejoj
Reviziu la analizitajn grupojn de uzanto-agentoj, malpermesu regulojn kaj la liston de deklaritaj retejoj, kun URL-ekzemplo de ĉiu.
Fiksi flagitajn
Laŭ la vikipedia artikolo pri la bloko, la bloko estas bloko de tekstoj, kiuj estas blokitaj de la serĉilo, sed ne de la uzanto.
Kion tiu tester kontrolas
La sama gardo-linio, kiun ni uzas interne antaŭ publikigi unu paĝon.
Rastrumigaj direktivoj
@ info: shell
Deklarataj retejoj
Listigas ĉiun retejomapon referencita en robots.txt, prenas ĉiun, kaj raportas ties tipon kaj URL-nombron.
Demando-ĉena bloado
Flagas serĉĉenajn retmapojn kiuj semas preskaŭ duplikatajn paĝojn kaj kaŭzas malaltigon de duplikata enhavo.
Preni sanon
La robotoj estas en robots.txt, kiu estas la dosiero de la serĉilo, kaj ne estas en XML.
Oftaj demandoj
Lanĉi ĝin en via kanalo
Tiu tester ruliĝas tute servile — vi sendas URL, nia interno prenas kaj analizas robots.txt kaj la deklaritajn retejojn, poste re-renderigas tiun paĝon kun la rezultoj. Programeca REST API por CI/CD kaj amaskontrolo disponeblas ĉe la pagitaj administritaj planoj. Vidu planojn →