robots.txt & Sitemap Imtixaan
Waxaan ka soo qaadnaa robots.txt iyo sitemap.xml server-keena, kuu muujin doonaa tilmaamaha crawl iyo sitemaps ku dhawaaqay, iyo calaamad u ah su'aasha-string sitemap URLs oo sababaya demotions content-dub-dub.
Sida loo tijaabiyo robots.txt iyo sitemap.xml
Afar tallaabo, ma diiwaangelin. tijaabada oo dhan waa server-xagga socda.
Riix URL-ka
Gal URL-ka bogga ugu horeeya ee website-ka. Maahan in aad ku darto buug-gacmeedyada buug-gacmeedyada "robots.txt", maxaa yeelay waxaan ka soo ururinnaa macluumaadkaas ka mid ah website-ka.
Waxaan ka helnaa server-keena
Server-kayaga codsiyada robots.txt iyo sitemap.xml kasta oo la sheegay, sidaas darteed tijaabada ma aha in la xakameeyo by browser ama aad kaashkaaga.
Akhri tilmaamaha iyo sitemaps
Dib u eegista user-agent kooxaha la falanqeeyay, diido xeerarka iyo liiska sitemaps ku dhawaaqay, oo leh URL tusaale ka mid ah mid kasta.
Xaqiiji waxa la calaameeyey
Xalka wax su'aal-string sitemap URLs ama xaddiday-laakiin-indexed khilaafaadka ka hor engine raadinta degrades la isku mar.
Maxaa imtixaankaan tijaabiyo
The guardrails la mid ah waxaan ku socdaan gudaha ka hor daabacaadda bog kaliya.
Tallaabooyinka la socodka
Parses user kasta oo koox ah iyo Allow / Diida sharciyada si aad u arki kartaa si dhab ah waxa la xakameeyay.
Sitemaps la sheegay
Liiska sitemap kasta oo ku xusan robots.txt, soo qaadaa mid kasta, oo warbixinno ka bixiya noocyada iyo tirada URL.
Qiyaasta
Flags su'aal-string sitemap URLs in beerashada in ka badan-dub-laabtay boggaga iyo abuuro laba-laab-content demotions.
Ka qaad caafimaad
Khamaarada (robots.txt) ee ku tilmaamaya baramuurka (sitemaps) waxay keenaan xalalo, isbeddelo, ama natiijooyin aan ahayn XML. Tan waxaa loo tusi karaa inay waxyeelo u geystaan habka lagu sahaminayo website-ka.
Su'aalaha badanaa la isweydiiyo
Run in aad pipeline
Tijaabadaani waxay shaqeysaa oo kaliya dhinaca server-ka. Waxaad soo gudbinaysaa URL, nidaankeena dambe (backend) ayaa soo uruurinaya iyo sahaminaya faylka robots.txt iyo map-yada website-ka ee la sheegay, ka dibna boggan ayaa dib loo soo saarayaa iyadoo laga soo celinayo natiijooyinka. API-yaal REST ah oo loogu talagalay CI/CD iyo sahaminta badan ayaa laga heli karaa qorsheyaasha lacagta ah. Ka eeg qorshayaasha →
U isticmaal si programmatically
Kullu qalab ayaa laga heli karaa iyada oo la isticmaalo API-yaal rasmi ah oo ku yaal barnaamijyada "Pro" iyo "API". Ku xidho qalabkan nidaamyadaaga "CI", "CMS", ama shaashadahaaga.