Robots.txt & Sitemap Ittestjar
Aħna fetch tagħha robots.txt u sitemap.xml mis-server tagħna, juru inti l-direttivi crawl u sitemaps iddikjarati, u l-bandiera l-URLs sitemap tal-mistoqsija string li jikkawżaw duplikati-kontenut degradazzjonijiet.
Kif tittestja robots.txt u sitemap.xml
Erba passi, l-ebda signup. Il-verifika kollha timxi server-ġenb.
Pejst il-URL tas-sit
M'għandekx bżonn il-passaġġ sħiħ għal robots.txt, għax aħna niġbruh mill-host, iżda tista' tuża l-passaġġ sħiħ għal robots.txt biex tiċċekkja l-URLs tal-paġni tal-web.
Aħna fetch mill-server tagħna
Server tagħna talbiet robots.txt u kull sitemap.xml iddikjarat, sabiex it-test ma jkunx imblukkata mill-browser tiegħek jew cache tiegħek stess.
Aqra d-direttivi u s-sitemaps
Irrevedi l-gruppi tal-user-agent analizzati, tiċħad ir-regoli u l-lista ta' sitemaps iddikjarati, b'kampjun ta' URL minn kull wieħed.
Issettja dak li huwa mmarkat
Issolvi kwalunkwe URLs sitemap tal-mistoqsija string jew kunflitti imblukkati iżda indiċjati qabel ma search engine tnaqqas id-duplikati.
X'inhu dan it-tester jiċċekkja
L-istess guardrails aħna tmexxi internament qabel ma tippubblika paġna waħda.
Direttivi dwar l-iskrollar
Parses kull grupp user-aġent u l-Allow / Disallow regoli tagħha sabiex tkun tista tara eżattament dak li huwa imblukkata.
Sitemaps iddikjarati
Il-lista ta ’kull sitemap imsemmija f’robots.txt, tieħu kull waħda, u tirrapporta t-tip u l-għadd tal-URL tagħha.
Qabel
Bnadar URLs sitemap tal-string tal-mistoqsija li jżirgħu paġni kważi duplikati u jikkawżaw degradazzjonijiet tal-kontenut duplikat.
Get saħħa
Qbid sitemaps iddikjarati fil robots.txt li żball, redirect, jew ritorn mhux XML. Dawn huma silenzjużi crawl qattiela.
Mistoqsijiet li jsiru ta' spiss
Mexxiha fil-pipeline tiegħek
Dan it-tester jimxi kompletament fuq in-naħa tas-server. Inti tissottometti URL, backend tagħna fetches u parses robots.txt u l-sitemaps iddikjarati, imbagħad re-renders din il-paġna bir-riżultati. A programmatiku REST API għall CI/CD u l-massa awditjar disponibbli fuq il-pjanijiet imħallsa ġestiti. Ara l-pjanijiet →
Użah programmatikament
Kull għodda hija disponibbli permezz ta REST API awtentikat wieħed fuq il-pjanijiet Pro u API.Wajer li fis-CI tiegħek, CMS, jew dashboards.