Crawl & indicizzazione

robots.txt & Mappa del sito Tester

Inserisci qualsiasi URL del sito. Prendiamo i suoi robots.txt e sitemap.xml dal nostro server, ti mostriamo le direttive di strisciamento e le sitemap dichiarate, e segnaliamo gli URL della mappa del sito che causano demozioni di contenuti duplicati.

Come testare un robots.txt e sitemap.xml

Quattro passi, niente iscrizioni, tutto il controllo funziona sul lato server.

1

Incolla l'URL del sito

Inserisci l'URL della homepage di qualsiasi sito. Non serve il percorso completo di robots.txt, perché lo ricaviamo dall'host.

2

Prendiamo dal nostro server

Il nostro server richiede robots.txt e ogni sitemap.xml dichiarato, quindi il test non viene bloccato dal tuo browser o dalla tua cache.

3

Leggi le direttive e le sitemap

Rivedere i gruppi di utenti-agente analizzati, non consentire le regole e l'elenco delle sitemap dichiarate, con un campione di URL da ciascuno.

4

Correggi ciò che è segnalato

Risolvere qualsiasi URL di query-string sitemap o conflitti bloccati ma indicizzati prima che un motore di ricerca demotizzi i duplicati.

Che cosa questo tester controlla

Gli stessi guardrail che si corre internamente prima di pubblicare una singola pagina.

📜

Direttive di lotta

Analizza ogni gruppo utente-agente e le sue regole Consenti / disabilita in modo da poter vedere esattamente ciò che è bloccato.

🗺️

Sitemap dichiarate

Elenca ogni mappa del sito referenziato in robots.txt, prende ciascuno, e riporta il suo tipo e URL conteggio.

⚠️

Bloat della corda di query

Flags query-string sitemap URL che seminano pagine quasi duplicate e innescano demozioni a doppio contenuto.

🔗

Salute

Individua le sitemap dichiarate in robots.txt che danno errore, reindirizzano o restituiscono contenuto non XML. Sono killer silenziosi della scansione.

Domande frequenti

Un URL di una singola stringa di query in una mappa del sito può seminare migliaia di pagine quasi duplicate. I motori di ricerca li strisciano, trovano lo stesso contenuto sotto parametri diversi e demote l'intero cluster per il contenuto duplicato. Questo tester li segnala prima che accada.
No. Un robots.txt mancante o vuoto permette semplicemente di strisciare. Il rischio è il contrario: un over-broad non consente che blocchi le pagine che si desidera indicizzare, o una mappa del sito dichiarata in robots.txt che restituisce un errore.
No. Prendiamo robots.txt e le sitemap che dichiara, poi leggiamo un campione di URL da ogni pagina. Non cripiamo ricorsivamente ogni pagina, quindi il test è veloce e non caricherà il server.
Sì, il tester è gratuito senza registrazione. L'accesso programmatico tramite un API REST è disponibile sui piani gestiti a pagamento.
Per gli sviluppatori

Eseguilo nel tuo condotto

Questo tester funziona interamente lato server. Invii un URL, il nostro backend recupera e analizza robots.txt e le sitemap dichiarate, poi ricrea questa pagina con i risultati. Nei piani managed a pagamento è disponibile un'API REST programmatica per CI/CD e audit in blocco. Cfr. piani →

API sviluppatore

Usalo programmaticamente

Ogni strumento è disponibile tramite un'unica API REST autenticata nei piani Pro e API. Collegala alla tua CI, al tuo CMS o ai tuoi dashboard.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Ottieni una chiave API → Prezzo per chiamata. Livello gratuito per lo strumento interattivo sopra.
Controlla tutte le pagine del tuo sito, non una alla volta
Pro collega Google Search Console, analizza ogni pagina che Google ha saltato, ogni pagina non funzionante e ogni pagina posizionata male, e scrive cosa correggere in ciascuna.
Scopri come funziona Pro