Tester robot.txt & Hartmap
Introduceți orice URL site. Obținem robot.txt și sitemap.xml de la serverul nostru, vă arătăm directivele de crawling și declarează hap de site, și steag URL-urile de sitemap-cheers-string care cauzează demoții duplicate-content.
Cum să testezi un robot.txt și sitemap.xml
Patru paşi, fără înscriere.
Încopără URL-ul site-ului
Introduceți URL-ul oricărui site. Nu ai nevoie de calea completă spre robot.txt, pentru că o scoatem de la gazdă.
Ne aducem de la serverul nostru
Serverul nostru solicită robot.txt și fiecare sitemap.xml declarat, astfel încât testul nu este blocat de browser-ul sau propria cache.
Citiţi directivele şi hărţile de site
Revizuiţi grupurile de agent de utilizator analizate, dezactivaţi regulile şi lista de hărţi de site declarate, cu un eșantion URL de la fiecare.
Rezolva ce e semnalizat
Rezolvă orice URL cu chestion- string sitemap sau conflicte blocate-dar-indexate înainte ca un motor de căutare să demoară duplicatele.
Ce verifică acest tester
Aceeaşi călăreţe pe care o facem în interior înainte de a publica o singură pagină.
Directivele privind crawl
Analiza fiecare grup de utilizatori-agent și regulile sale de Permit / Dezactivare astfel încât să puteți vedea exact ce este blocat.
Fișe de site declarate
Lista fiecare hărți de site referite în robot.txt, prinde fiecare, și raportează tipul și numărul de URL.
Bloat cu corzi de cercetări
Steaguri cu cerinta-string sitemap URL-uri care sămânță pagini aproape-duplica și declanșează demoții duplicate-content.
Obține sănătatea
Captures sitemaps declarat in robot.txt care eroare, redirectie, sau returnare non-XML. Aceştia sunt ucigaşi tăcuţi.
Întrebări frecvente
Fugi-l în conductă
Acest tester se execută complet pe partea server-. Trimiteți o URL, backend-ul nostru găsește și analizează robot.txt și foaie de site declarate, apoi reformulează această pagină cu rezultatele. O API programmatică REST pentru CI/CD și auditarea în vrac este disponibilă pe planurile gestionate plătite. A se vedea planurile →
Foloseşte-l program
Fiecare instrument este disponibil prin intermediul unei API REST autentificate pe planurile Pro și API. Să-l prindem în CI, CMS sau în tableaue.