Rastrexar a & indexación

Probador de robots. txt e sitemap

Introduza o URL de calquera sitio. Obtemos o seu robots. txt e sitemap. xml do noso servidor, mostrámoslle as directivas de rastrexo e os sitemaps declarados, e marcamos os URLs de sitemaps de cadea de preguntas que causan degradacións de contido duplicado.

Como probar un robots.txt e sitemap.xml

Catro pasos, sen rexistro. Toda a comprobación corre no servidor.

1

Apegar o URL do sitio

Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.

2

Obtemos do noso servidor

O noso servidor pide robots.txt e cada sitemap.xml declarado, polo que a proba non está bloqueada polo seu navegador ou a súa propia caché.

3

Ler as directivas e os sitemaps

Revisa os grupos de axente de usuario analizados, as regras de non permitir e a lista de sitemaps declarados, cun exemplo de URL de cada un.

4

Corrixir o que está sinalizado

Resolver calquera URL de mapa de sitio de cadea de consulta ou conflitos bloqueados pero indexados antes de que un motor de procura rebaixe os duplicados.

O que comproba este probador

Os mesmos controles que aplicamos internamente antes de publicar unha soa páxina.

📜

Directivas de rastrexo

Analiza cada grupo de axente de usuario e as súas regras de Permitir/ Denegar para que poida ver exactamente o que está bloqueado.

🗺️

Sitemaps declarados

Lista todos os sitemaps referenciados en robots. txt, obtén cada un e informa do seu tipo e número de URL.

⚠️

Bloat de cadea de consulta

Indica os URLs de sitemap de cadea de consulta que semellan páxinas case duplicadas e desencadean degradacións de contido duplicado.

🔗

Obter a saúde

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.

Preguntas frecuentes

Un único URL de cadea de consulta nun mapa do sitio pode semear miles de páxinas case duplicadas. Os motores de procura rastrexan as páxinas, atopan o mesmo contido baixo diferentes parámetros e degradan todo o clúster por contido duplicado. Este probador sinala as páxinas antes de que iso suceda.
Non. Un robots. txt baleiro ou que falte simplemente permite todo o rastrexo. O risco é o contrario: un prohibido demasiado amplo que bloquea as páxinas que quere indexar, ou un mapa do sitio declarado no robots. txt que devolve un erro.
Non. Obtemos robots. txt e os sitemaps que declara, e logo lemos unha mostra de URL de cada un. Non rastreamos recursivamente todas as páxinas, polo que a proba é rápida e non carga o servidor.
Si, o probador é gratuíto sen necesidade de rexistrarse. O acceso por programación mediante unha API REST está dispoñíbel nos plans xestionados de pago.
Para desenvolventes

Execútao no seu pipeline

This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Ver os plans →

API do desenvolvente

Úsalo por programación

Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Obter unha chave API → Medido, prezo por chamada. Nivel gratuíto para a ferramenta interactiva de riba.
Check every page of your site, not one at a time
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
See how Pro works