Crawl & indiċizzazzjoni

Robots.txt & Sitemap Ittestjar

Aħna fetch tagħha robots.txt u sitemap.xml mis-server tagħna, juru inti l-direttivi crawl u sitemaps iddikjarati, u l-bandiera l-URLs sitemap tal-mistoqsija string li jikkawżaw duplikati-kontenut degradazzjonijiet.

Kif tittestja robots.txt u sitemap.xml

Erba passi, l-ebda signup. Il-verifika kollha timxi server-ġenb.

1

Pejst il-URL tas-sit

M'għandekx bżonn il-passaġġ sħiħ għal robots.txt, għax aħna niġbruh mill-host, iżda tista' tuża l-passaġġ sħiħ għal robots.txt biex tiċċekkja l-URLs tal-paġni tal-web.

2

Aħna fetch mill-server tagħna

Server tagħna talbiet robots.txt u kull sitemap.xml iddikjarat, sabiex it-test ma jkunx imblukkata mill-browser tiegħek jew cache tiegħek stess.

3

Aqra d-direttivi u s-sitemaps

Irrevedi l-gruppi tal-user-agent analizzati, tiċħad ir-regoli u l-lista ta' sitemaps iddikjarati, b'kampjun ta' URL minn kull wieħed.

4

Issettja dak li huwa mmarkat

Issolvi kwalunkwe URLs sitemap tal-mistoqsija string jew kunflitti imblukkati iżda indiċjati qabel ma search engine tnaqqas id-duplikati.

X'inhu dan it-tester jiċċekkja

L-istess guardrails aħna tmexxi internament qabel ma tippubblika paġna waħda.

📜

Direttivi dwar l-iskrollar

Parses kull grupp user-aġent u l-Allow / Disallow regoli tagħha sabiex tkun tista tara eżattament dak li huwa imblukkata.

🗺️

Sitemaps iddikjarati

Il-lista ta ’kull sitemap imsemmija f’robots.txt, tieħu kull waħda, u tirrapporta t-tip u l-għadd tal-URL tagħha.

⚠️

Qabel

Bnadar URLs sitemap tal-string tal-mistoqsija li jżirgħu paġni kważi duplikati u jikkawżaw degradazzjonijiet tal-kontenut duplikat.

🔗

Get saħħa

Qbid sitemaps iddikjarati fil robots.txt li żball, redirect, jew ritorn mhux XML. Dawn huma silenzjużi crawl qattiela.

Mistoqsijiet li jsiru ta' spiss

URL waħda mistoqsija string f'sitemap jistgħu jżirgħu eluf ta'paġni kważi duplikati. Search engines crawl minnhom, isibu l-istess kontenut taħt parametri differenti, u jitbaxxa l-grupp kollu għall-kontenut duplikat. dan tester bandieri minnhom qabel ma jiġri dan.
Robots.txt nieqes jew vojt sempliċement jippermetti l-iskrollar kollu. Ir-riskju huwa l-oppost: disallow wiesa' żżejjed li jimblokka l-paġni li trid tkun indiċjata, jew sitemap iddikjarata fir-robots.txt li tirritorna żball.
Le. Aħna fetch robots.txt u l-sitemaps li jiddikjara, imbagħad jaqra kampjun ta URLs minn kull wieħed. Aħna ma rikursivament crawl kull paġna, sabiex it-test huwa mgħaġġel u mhux se tagħbija server tiegħek.
Iva, it-tester huwa b'xejn mingħajr ebda signup.Programmatic aċċess permezz ta'REST API huwa disponibbli fuq il-pjanijiet imħallsa ġestiti.
Għall-iżviluppaturi

Mexxiha fil-pipeline tiegħek

Dan it-tester jimxi kompletament fuq in-naħa tas-server. Inti tissottometti URL, backend tagħna fetches u parses robots.txt u l-sitemaps iddikjarati, imbagħad re-renders din il-paġna bir-riżultati. A programmatiku REST API għall CI/CD u l-massa awditjar disponibbli fuq il-pjanijiet imħallsa ġestiti. Ara l-pjanijiet →

API tal-iżviluppatur

Użah programmatikament

Kull għodda hija disponibbli permezz ta REST API awtentikat wieħed fuq il-pjanijiet Pro u API.Wajer li fis-CI tiegħek, CMS, jew dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Ikseb ċavetta API → Prezzijiet imkejla għal kull sejħa. Livell b'xejn għall-għodda interattiva ta' hawn fuq.
Iċċekkja kull paġna tas-sit tiegħek, mhux wieħed f'daqqa
Pro jgħaqqad Google Search Console, fetches kull paġna Google maqbuża, kull paġna miksura u kull paġna li ranks baxx, u jikteb dak li jiffissaw fuq kull wieħed.
Ara kif Pro jaħdem