Probador de robots. txt e sitemap
Introduza o URL de calquera sitio. Obtemos o seu robots. txt e sitemap. xml do noso servidor, mostrámoslle as directivas de rastrexo e os sitemaps declarados, e marcamos os URLs de sitemaps de cadea de preguntas que causan degradacións de contido duplicado.
Como probar un robots.txt e sitemap.xml
Catro pasos, sen rexistro. Toda a comprobación corre no servidor.
Apegar o URL do sitio
Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.
Obtemos do noso servidor
O noso servidor pide robots.txt e cada sitemap.xml declarado, polo que a proba non está bloqueada polo seu navegador ou a súa propia caché.
Ler as directivas e os sitemaps
Revisa os grupos de axente de usuario analizados, as regras de non permitir e a lista de sitemaps declarados, cun exemplo de URL de cada un.
Corrixir o que está sinalizado
Resolver calquera URL de mapa de sitio de cadea de consulta ou conflitos bloqueados pero indexados antes de que un motor de procura rebaixe os duplicados.
O que comproba este probador
Os mesmos controles que aplicamos internamente antes de publicar unha soa páxina.
Directivas de rastrexo
Analiza cada grupo de axente de usuario e as súas regras de Permitir/ Denegar para que poida ver exactamente o que está bloqueado.
Sitemaps declarados
Lista todos os sitemaps referenciados en robots. txt, obtén cada un e informa do seu tipo e número de URL.
Bloat de cadea de consulta
Indica os URLs de sitemap de cadea de consulta que semellan páxinas case duplicadas e desencadean degradacións de contido duplicado.
Obter a saúde
Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.
Preguntas frecuentes
Execútao no seu pipeline
This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Ver os plans →
Úsalo por programación
Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.