robots. txt & TTT- mapo- testado
Entajpu iun ajn retejan URLon. Ni prenas ĝiajn robots. txt kaj sitemap. xml el nia servilo, montras al vi la trarigardantajn direktivojn kaj deklaritajn retejamapojn, kaj markas la serĉĉenajn retejamapojn URLojn kiuj kaŭzas malaltigon de duplikata enhavo.
Kiel testi robots.txt kaj sitemap.xml
Kvar paŝoj, neniu enskribo. La tuta kontrolo okazas en la servila flanko.
Alglui la retejan URLon
Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.
Ni prenas de nia servilo
La programo uzas la dosierojn robots.txt kaj sitemap.xml por la serĉado de la retejo.
Legi la direktivoj kaj retejoj
Reviziu la analizitajn grupojn de uzanto-agentoj, malpermesu regulojn kaj la liston de deklaritaj retejoj, kun URL-ekzemplo de ĉiu.
Fiksi flagitajn
Laŭ la vikipedia artikolo pri la bloko, la bloko estas bloko de tekstoj, kiuj estas blokitaj de la serĉilo, sed ne de la uzanto.
Kion tiu tester kontrolas
La sama gardo-linio, kiun ni uzas interne antaŭ publikigi unu paĝon.
Rastrumigaj direktivoj
Parses each user-agent group and its Allow / Disallow rules so you can see exactly what's blocked.
Deklarataj retejoj
Listigas ĉiun retejomapon referencita en robots.txt, prenas ĉiun, kaj raportas ties tipon kaj URL-nombron.
Demando-ĉena bloado
Flagas serĉĉenajn retmapojn kiuj semas preskaŭ duplikatajn paĝojn kaj kaŭzas malaltigon de duplikata enhavo.
Preni sanon
Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.
Oftaj demandoj
Lanĉi ĝin en via kanalo
This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Vidu planojn →
Uzi ĝin programe
Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.