Xidhiidhka

robots.txt & Sitemap Imtixaan

Waxaan ka soo qaadnaa robots.txt iyo sitemap.xml server-keena, kuu muujin doonaa tilmaamaha crawl iyo sitemaps ku dhawaaqay, iyo calaamad u ah su'aasha-string sitemap URLs oo sababaya demotions content-dub-dub.

Sida loo tijaabiyo robots.txt iyo sitemap.xml

Afar tallaabo, ma diiwaangelin. tijaabada oo dhan waa server-xagga socda.

1

Riix URL-ka

Gal URL-ka bogga ugu horeeya ee website-ka. Maahan in aad ku darto buug-gacmeedyada buug-gacmeedyada "robots.txt", maxaa yeelay waxaan ka soo ururinnaa macluumaadkaas ka mid ah website-ka.

2

Waxaan ka helnaa server-keena

Server-kayaga codsiyada robots.txt iyo sitemap.xml kasta oo la sheegay, sidaas darteed tijaabada ma aha in la xakameeyo by browser ama aad kaashkaaga.

3

Akhri tilmaamaha iyo sitemaps

Dib u eegista user-agent kooxaha la falanqeeyay, diido xeerarka iyo liiska sitemaps ku dhawaaqay, oo leh URL tusaale ka mid ah mid kasta.

4

Xaqiiji waxa la calaameeyey

Xalka wax su'aal-string sitemap URLs ama xaddiday-laakiin-indexed khilaafaadka ka hor engine raadinta degrades la isku mar.

Maxaa imtixaankaan tijaabiyo

The guardrails la mid ah waxaan ku socdaan gudaha ka hor daabacaadda bog kaliya.

📜

Tallaabooyinka la socodka

Parses user kasta oo koox ah iyo Allow / Diida sharciyada si aad u arki kartaa si dhab ah waxa la xakameeyay.

🗺️

Sitemaps la sheegay

Liiska sitemap kasta oo ku xusan robots.txt, soo qaadaa mid kasta, oo warbixinno ka bixiya noocyada iyo tirada URL.

⚠️

Qiyaasta

Flags su'aal-string sitemap URLs in beerashada in ka badan-dub-laabtay boggaga iyo abuuro laba-laab-content demotions.

🔗

Ka qaad caafimaad

Khamaarada (robots.txt) ee ku tilmaamaya baramuurka (sitemaps) waxay keenaan xalalo, isbeddelo, ama natiijooyin aan ahayn XML. Tan waxaa loo tusi karaa inay waxyeelo u geystaan habka lagu sahaminayo website-ka.

Su'aalaha badanaa la isweydiiyo

URL-ka su'aal-wax-dhiig ah oo kaliya oo ku yaal sitemap-ka ayaa la siin karaa kun oo bog oo ku dhow-dublamaasi ah. mashiinada raadinta waxay ku soo jiitaan, waxay helayaan waxyaabaha isku midka ah ee hoos yimaada astaamaha kala duwan, oo ay hoos u dhigaan kooxaha oo dhan ee waxyaabaha isku midka ah.
A robots.txt la'aan ama aan buuxin oo kaliya u oggolaanaya dhammaan crawling. khatarta waa ka soo horjeeda: a over-wide diido in ay xaddidaan boggaga aad rabto in aad indekserat, ama sitemap ku dhawaaqay robots.txt oo ku soo laabtay qalad.
No. Waxaan ka soo qaadi robots.txt iyo sitemaps ay sheegto, ka dibna akhriya tusaale ah URLs ka mid ah mid kasta. Waxaanan ku soo noqnoqonaya u soo jiidasho ah bogga kasta, sidaas darteed imtixaanka waa degdeg ah oo aan server aad soo dejisan.
Haa, tijaabiyahan waa bilaash oo aan diiwaangelin lahayn. Software access via REST API waxaa laga heli karaa qorshayaasha la bixiyo ee la maamulo.
Si loogu abuuro

Run in aad pipeline

Tijaabadaani waxay shaqeysaa oo kaliya dhinaca server-ka. Waxaad soo gudbinaysaa URL, nidaankeena dambe (backend) ayaa soo uruurinaya iyo sahaminaya faylka robots.txt iyo map-yada website-ka ee la sheegay, ka dibna boggan ayaa dib loo soo saarayaa iyadoo laga soo celinayo natiijooyinka. API-yaal REST ah oo loogu talagalay CI/CD iyo sahaminta badan ayaa laga heli karaa qorsheyaasha lacagta ah. Ka eeg qorshayaasha →

Soo-saarayaasha API

U isticmaal si programmatically

Kullu qalab ayaa laga heli karaa iyada oo la isticmaalo API-yaal rasmi ah oo ku yaal barnaamijyada "Pro" iyo "API". Ku xidho qalabkan nidaamyadaaga "CI", "CMS", ama shaashadahaaga.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
OK
{ "ok": true, "result": { ... } }
Ka hel furaha API → Miisaanka, per-dhiig-dhiig qiimaha. Free tier ee qalabka isgaarsiinta kor ku xusan.
Ka hubi bog kasta oo goobtaada ah, midna waqti kasta
Pro xiriiriya Google Search Console, soo qaadaa bog kasta oo Google ka tagay, bog kasta oo burburay iyo bog kasta oo ka mid ah heerarka hooseeya, oo qoraya waxa ay ku xallin on mid kasta oo ka mid ah.
Arka sida Pro shaqooyinka