🤖 Rastrexar a & indexación

Probador de robots. txt e sitemap

Introduza o URL de calquera sitio. Obtemos o seu robots. txt e sitemap. xml do noso servidor, mostrámoslle as directivas de rastrexo e os sitemaps declarados, e marcamos os URLs de sitemaps de cadea de preguntas que causan degradacións de contido duplicado.

Como probar un robots.txt e sitemap.xml

Catro pasos, sen rexistro. Toda a comprobación corre no servidor.

1

Apegar o URL do sitio

Indique o URL da páxina principal de calquera sitio. Non precisa a rota completa a robots. txt, derivemola do servidor.

2

Obtemos do noso servidor

O noso servidor pide robots.txt e cada sitemap.xml declarado, polo que a proba non está bloqueada polo seu navegador ou a súa propia caché.

3

Ler as directivas e os sitemaps

Revisa os grupos de axente de usuario analizados, as regras de non permitir e a lista de sitemaps declarados, cun exemplo de URL de cada un.

4

Corrixir o que está sinalizado

Resolver calquera URL de mapa de sitio de cadea de consulta ou conflitos bloqueados pero indexados antes de que un motor de procura rebaixe os duplicados.

O que comproba este probador

Os mesmos controles que aplicamos internamente antes de publicar unha soa páxina.

📜

Directivas de rastrexo

Analiza cada grupo de axente de usuario e as súas regras de Permitir/ Denegar para que poida ver exactamente o que está bloqueado.

🗺️

Sitemaps declarados

Lista todos os sitemaps referenciados en robots. txt, obtén cada un e informa do seu tipo e número de URL.

⚠️

Bloat de cadea de consulta

Indica os URLs de sitemap de cadea de consulta que semellan páxinas case duplicadas e desencadean degradacións de contido duplicado.

🔗

Obter a saúde

Captura os sitemaps declarados en robots. txt que erran, redireccionan ou devolven non XML — silenciosos matadores de rastrexo.

Preguntas frecuentes

Un único URL de cadea de consulta nun mapa do sitio pode semear miles de páxinas case duplicadas. Os motores de procura rastrexan as páxinas, atopan o mesmo contido baixo diferentes parámetros e degradan todo o clúster por contido duplicado. Este probador sinala as páxinas antes de que iso suceda.
Non. Un robots. txt baleiro ou que falte simplemente permite todo o rastrexo. O risco é o contrario: un prohibido demasiado amplo que bloquea as páxinas que quere indexar, ou un mapa do sitio declarado no robots. txt que devolve un erro.
Non. Obtemos robots. txt e os sitemaps que declara, e logo lemos unha mostra de URL de cada un. Non rastreamos recursivamente todas as páxinas, polo que a proba é rápida e non carga o servidor.
Si, o probador é gratuíto sen necesidade de rexistrarse. O acceso por programación mediante unha API REST está dispoñíbel nos plans xestionados de pago.
⚙️ Para desenvolventes

Execútao no seu pipeline

Este probador executase totalmente no lado do servidor: envía un URL, a nosa infraestrutura obtén e analiza robots.txt e os sitemaps declarados, e logo renderiza esta páxina cos resultados. Nos plans xestionados de pago está dispoñíbel unha API REST programática para CI/CD e auditoría masiva. Ver os plans →