🤖 & indexare de crawl

Tester robot.txt & Hartmap

Introduceți orice URL site. Obținem robot.txt și sitemap.xml de la serverul nostru, vă arătăm directivele de crawling și declarează hap de site, și steag URL-urile de sitemap-cheers-string care cauzează demoții duplicate-content.

Cum să testezi un robot.txt și sitemap.xml

Patru paşi, fără înscriere.

1

Încopără URL-ul site-ului

Introduceți URL-ul oricărui site. Nu aveți nevoie de calea completă către robot.txt — o scoatem de la gazdă.

2

Ne aducem de la serverul nostru

Serverul nostru solicită robot.txt și fiecare sitemap.xml declarat, astfel încât testul nu este blocat de browser-ul sau propria cache.

3

Citiţi directivele şi hărţile de site

Revizuiţi grupurile de agent de utilizator analizate, dezactivaţi regulile şi lista de hărţi de site declarate, cu un eșantion URL de la fiecare.

4

Rezolva ce e semnalizat

Rezolvă orice URL cu chestion- string sitemap sau conflicte blocate-dar-indexate înainte ca un motor de căutare să demoară duplicatele.

Ce verifică acest tester

Aceeaşi călăreţe pe care o facem în interior înainte de a publica o singură pagină.

📜

Directivele privind crawl

Analiza fiecare grup de utilizatori-agent și regulile sale de Permit / Dezactivare astfel încât să puteți vedea exact ce este blocat.

🗺️

Fișe de site declarate

Lista fiecare hărți de site referite în robot.txt, prinde fiecare, și raportează tipul și numărul de URL.

⚠️

Bloat cu corzi de cercetări

Steaguri cu cerinta-string sitemap URL-uri care sămânță pagini aproape-duplica și declanșează demoții duplicate-content.

🔗

Obține sănătatea

Captures sitemaps declarat in robot.txt acea eroare, redirecționează sau returnează non-XML - criminali de târfă tăcut.

Întrebări frecvente

O singură URL cu chestion- string într-o hărți de site poate sămită mii de pagini aproape duplicate. Motoarele de căutare le târăsc, găsi același conținut sub diferite parametri, și demote întregul cluster pentru conținut duplicat. Acest testator le steag înainte de a se întâmpla.
Nu. Un robot.txt lipsă sau gol permite pur și simplu toate târaturi. Riscul este opus: o supra-stradă dezactiva că blocuri pagini doriți indexat, sau o harta site declarată în robot.txt care returnează o eroare.
Nu. Vom obține robot.txt și haburile de site-ul declarat, apoi citim un eșantion de URL de la fiecare. Nu târăsc recursiv fiecare pagină, așa că testul este rapid și nu va încărca serverul.
Da, testerul este liber fără semnarea. Accesul programmatic prin intermediul unei API REST este disponibil pe planurile gestionate plătite.
⚙️ Pentru dezvoltatori

Fugi-l în conductă

Acest tester execută complet parte server-ul — trimiteți o URL, backend-ul nostru prinde și analizează robot.txt și harta de site declarată, apoi reînnoiește această pagină cu rezultatele. O API programmatică REST pentru CI/CD și auditarea în vrac este disponibilă pe planurile gestionate plătite. A se vedea planurile →