Crawl & indexação

Testador de mapa de sites de robots.txt

Digite qualquer URL do site. Obtenhamos seus robots.txt e sitemap.xml do nosso servidor, mostre as directivas de rastreio e mapas de sites declarados e sinalizamos os URLs de mapas de sites de query-string que causam demoções de conteúdo-duplicado.

Como testar um robot.txt e sitemap.xml

Quatro passos, sem inscrição.

1

Pegar a URL do site

Digite a URL da página inicial de qualquer site. Você não precisa do caminho completo até o robots.txt, porque o derivamos do host.

2

Nós recebemos do nosso servidor

Nosso servidor solicita robots.txt e cada sitemap.xml declarado, assim o teste não está bloqueado pelo seu navegador ou seu próprio cache.

3

Leia as directivas e mapas de sites

Revisar os grupos de agentes de usuário analisados, desativar as regras e a lista de mapas de sites declarados, com uma amostra de URL de cada um.

4

Fixe o que está marcado

Resolver quaisquer URLs de sitemap de query-string ou bloqueados-mas-indexados conflitos antes de um motor de busca demonstrar os duplicados.

O que este testador verifica

Os mesmos guarda-relões que nós executamos internamente antes de publicar uma única página.

📜

Directivas sobre o engano

Analiza cada grupo de utilizadores e suas regras Permitir / Desautorizar para que você possa ver exatamente o que está bloqueado.

🗺️

Mapas de sites declarados

Lista cada sitemap referenciado em robots.txt, recupera cada um e reporta seu tipo e conta URL.

⚠️

Bloat de cordão de consulta

As bandeiras query-string sitemap URLs que sementes páginas próximas duplica e desencadear demoções duplicadas-content.

🔗

Obtenção de saúde

Detecta sitemaps declarados no robots.txt que dão erro, redirecionam ou retornam algo que não é XML. São assassinos silenciosos do rastreamento.

Perguntas mais frequentes

Uma única URL de query-string em um sitemap pode semear milhares de páginas de quase duplicado. Motores de busca rastrea-los, encontrar o mesmo conteúdo sob diferentes parâmetros, e demover todo o cluster para conteúdo duplicado. Este tester marca-los antes que isso aconteça.
Não. Um robô.txt faltante ou vazio permite simplesmente todos os rastreamentos. O risco é o oposto: um over-broad desallow que blocos páginas que você quer indexado, ou um sitemap declarado em robots.txt que retorna um erro.
Não. Nós obtemos robots.txt e os mapas de site que ele declara, então lemos uma amostra de URLs de cada. Nós não rastreamos recursivamente cada página, então o teste é rápido e não vai carregar o seu servidor.
Sim, o testador é gratuito sem inscrição. O acesso programático através de uma API REST está disponível nos planos gerenciados pagos.
Para desenvolvedores

Corre-o no teu condutor

Este testador roda inteiramente no servidor. Você envia uma URL, o nosso backend busca e analisa o robots.txt e os sitemaps declarados e exibe esta página novamente com os resultados. Há uma API REST por programação para CI/CD e auditorias em massa disponível nos planos gerenciados pagos. Ver planos →

API do Desenvolvedor

Use-o programáticamente

Todas as ferramentas estão disponíveis por meio de uma única API REST autenticada nos planos Pro e API. Conecte-a ao seu CI, ao seu CMS ou aos seus painéis.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Obter uma chave API → Preço medido, por chamada. Gratuito nível para a ferramenta interativa acima.
Verifique todas as páginas do seu site, não uma de cada vez
O Pro conecta o Google Search Console, verifica cada página que o Google ignorou, cada página quebrada e cada página mal posicionada, e escreve o que corrigir em cada uma.
Veja como o Pro funciona