& Indekso

robots. txt & TTT- mapo- testado

Entajpu iun ajn retejan URLon. Ni prenas ĝiajn robots. txt kaj sitemap. xml el nia servilo, montras al vi la trarigardantajn direktivojn kaj deklaritajn retejamapojn, kaj markas la serĉĉenajn retejamapojn URLojn kiuj kaŭzas malaltigon de duplikata enhavo.

Kiel testi robots.txt kaj sitemap.xml

Kvar paŝoj, neniu enskribo. La tuta kontrolo okazas en la servila flanko.

1

Alglui la retejan URLon

Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.

2

Ni prenas de nia servilo

La programo uzas la dosierojn robots.txt kaj sitemap.xml por la serĉado de la retejo.

3

Legi la direktivoj kaj retejoj

Reviziu la analizitajn grupojn de uzanto-agentoj, malpermesu regulojn kaj la liston de deklaritaj retejoj, kun URL-ekzemplo de ĉiu.

4

Fiksi flagitajn

Laŭ la vikipedia artikolo pri la bloko, la bloko estas bloko de tekstoj, kiuj estas blokitaj de la serĉilo, sed ne de la uzanto.

Kion tiu tester kontrolas

La sama gardo-linio, kiun ni uzas interne antaŭ publikigi unu paĝon.

📜

Rastrumigaj direktivoj

Parses each user-agent group and its Allow / Disallow rules so you can see exactly what's blocked.

🗺️

Deklarataj retejoj

Listigas ĉiun retejomapon referencita en robots.txt, prenas ĉiun, kaj raportas ties tipon kaj URL-nombron.

⚠️

Demando-ĉena bloado

Flagas serĉĉenajn retmapojn kiuj semas preskaŭ duplikatajn paĝojn kaj kaŭzas malaltigon de duplikata enhavo.

🔗

Preni sanon

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.

Oftaj demandoj

A single query-string URL in a sitemap can seed thousands of near-duplicate pages. Search engines crawl them, find the same content under different parameters, and demote the whole cluster for duplicate content. This tester flags them before that happens.
Ne. Mankanta aŭ malplena robots. txt simple permesas ĉiujn indeksojn. La risko estas la kontraŭa: tro larĝa malpermeso blokas paĝojn, kiujn vi volas indeksi, aŭ retejo- mapo deklarita en robots. txt kiu redonas eraron.
Ne. Ni prenas robots. txt kaj la retejojn kiujn ĝi deklaras, poste ni legas ekzemplon de URLoj el ĉiu. Ni ne rekursie trarigardu ĉiun paĝon, do la testo estas rapida kaj ne ŝarĝos vian servilon.
Jes, la tester estas libera sen aliĝo. Programma aliro tra REST API estas disponebla sur la pagitaj administritaj planoj.
Por programistoj

Lanĉi ĝin en via kanalo

This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Vidu planojn →

Programisto API

Uzi ĝin programe

Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Elŝuti API- ŝlosilon → Mezurata, per-voko-prezo. Senpaga nivelo por la interaga ilo supre.
Check every page of your site, not one at a time
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
See how Pro works