🤖 Crawl & indiċizzazzjoni

Robots.txt & Sitemap Ittestjar

Aħna fetch tagħha robots.txt u sitemap.xml mis-server tagħna, juru inti l-direttivi crawl u sitemaps iddikjarati, u l-bandiera l-URLs sitemap tal-mistoqsija string li jikkawżaw duplikati-kontenut degradazzjonijiet.

Kif tittestja robots.txt u sitemap.xml

Erba passi, l-ebda signup. Il-verifika kollha timxi server-ġenb.

1

Pejst il-URL tas-sit

M'għandekx bżonn il-mogħdija sħiħa għal robots.txt — aħna niġbruha mill-host, u l-URL tal-paġna ewlenija ta' kwalunkwe sit.

2

Aħna fetch mill-server tagħna

Server tagħna talbiet robots.txt u kull sitemap.xml iddikjarat, sabiex it-test ma jkunx imblukkata mill-browser tiegħek jew cache tiegħek stess.

3

Aqra d-direttivi u s-sitemaps

Irrevedi l-gruppi tal-user-agent analizzati, tiċħad ir-regoli u l-lista ta' sitemaps iddikjarati, b'kampjun ta' URL minn kull wieħed.

4

Issettja dak li huwa mmarkat

Issolvi kwalunkwe URLs sitemap tal-mistoqsija string jew kunflitti imblukkati iżda indiċjati qabel ma search engine tnaqqas id-duplikati.

X'inhu dan it-tester jiċċekkja

L-istess guardrails aħna tmexxi internament qabel ma tippubblika paġna waħda.

📜

Direttivi dwar l-iskrollar

Parses kull grupp user-aġent u l-Allow / Disallow regoli tagħha sabiex tkun tista tara eżattament dak li huwa imblukkata.

🗺️

Sitemaps iddikjarati

Il-lista ta ’kull sitemap imsemmija f’robots.txt, tieħu kull waħda, u tirrapporta t-tip u l-għadd tal-URL tagħha.

⚠️

Qabel

Bnadar URLs sitemap tal-string tal-mistoqsija li jżirgħu paġni kważi duplikati u jikkawżaw degradazzjonijiet tal-kontenut duplikat.

🔗

Get saħħa

Qbid sitemaps iddikjarati fil robots.txt li żball, redirect, jew jirritorna mhux XML — silenzjużi crawl qattiela.

Mistoqsijiet li jsiru ta' spiss

URL waħda mistoqsija string f'sitemap jistgħu jżirgħu eluf ta'paġni kważi duplikati. Search engines crawl minnhom, isibu l-istess kontenut taħt parametri differenti, u jitbaxxa l-grupp kollu għall-kontenut duplikat. dan tester bandieri minnhom qabel ma jiġri dan.
Robots.txt nieqes jew vojt sempliċement jippermetti l-iskrollar kollu. Ir-riskju huwa l-oppost: disallow wiesa' żżejjed li jimblokka l-paġni li trid tkun indiċjata, jew sitemap iddikjarata fir-robots.txt li tirritorna żball.
Le. Aħna fetch robots.txt u l-sitemaps li jiddikjara, imbagħad jaqra kampjun ta URLs minn kull wieħed. Aħna ma rikursivament crawl kull paġna, sabiex it-test huwa mgħaġġel u mhux se tagħbija server tiegħek.
Iva, it-tester huwa b'xejn mingħajr ebda signup.Programmatic aċċess permezz ta'REST API huwa disponibbli fuq il-pjanijiet imħallsa ġestiti.
⚙️ Għall-iżviluppaturi

Mexxiha fil-pipeline tiegħek

Dan tester runs kompletament server-side - inti tissottometti URL, tagħna backend fetches u parses robots.txt u l-sitemaps iddikjarati, imbagħad re-renders din il-paġna bir-riżultati.A programmatiku REST API għall CI/CD u l-massa awditjar disponibbli fuq il-pjanijiet imħallsa ġestiti. Ara l-pjanijiet →