🤖 ရှာဖွေခြင်းနှင့် အညွှန်းကိန်း

robots.txt & Sitemap ကိုစစ်ဆေး

ကျွန်တော်တို့ဟာကျွန်တော်တို့ရဲ့ဆာဗာကနေ၎င်း၏ robots.txt နှင့် sitemap.xml ကို fetch, သင်က crawl အမိန့်နှင့်ကြေညာချက် sitemaps ကိုပြသ, နှင့် duplicate-content demotions ဖြစ်စေသော query-string sitemap URL များကိုဖုံးကွယ်.

robots.txt နှင့် sitemap.xml ကိုစမ်းသပ်ဖို့ဘယ်လို

လေးခြေလှမ်းများ, မှတ်ပုံတင်ခြင်းမရှိပါ. တစ်ခုလုံးစစ်ဆေး server-side ကို runs.

1

နေရာ URL ကို paste

သင်သည် robots.txt သို့အပြည့်အဝလမ်းကြောင်းလိုအပ်ပါတယ်မဟုတ်ပါဘူး - ကျနော်တို့က host ကိုမှ derivate.

2

ကျွန်တော်တို့ရဲ့ဆာဗာကနေ fetch

ကျွန်တော်တို့ရဲ့ဆာဗာက robots.txt နှင့်အတိုင်းကြေညာ sitemap.xml ကိုတောင်းဆို, ဒါကြောင့်စမ်းသပ်မှုသင့်ရဲ့ browser ကိုသို့မဟုတ်သင့်ကိုယ်ပိုင် cache ကိုမှ blocked မဟုတ်ပါဘူး.

3

အမိန့်နှင့် sitemaps ဖတ်ပါ

ခွဲခြမ်းစိတ်ဖြာ user-agent ကိုအုပ်စုများပြန်လည်ဆန်းစစ်ခြင်း, disallow စည်းမျဉ်းများနှင့်ကြေညာချက် sitemaps ၏စာရင်း, တစ်ခုချင်းစီမှ URL ကိုနမူနာနှင့်အတူ.

4

အမှတ်အသားပြုထားသည်များကို ပြင်ဆင်ပါ

ရှာဖွေရေးအင်ဂျင်ကို duplicates ကိုဆင်းသက်မတိုင်မီမည်သည့် query-string sitemap URL များသို့မဟုတ်ပိတ်ဆို့-ဒါပေမယ့်-indexed ပဋိပက္ခများဖြေရှင်း.

ဒီစစ်ဆေးသူစစ်ဆေးသည်

ကျွန်တော်တို့ဟာ စာမျက်နှာတစ်မျက်နှာတည်းကို ထုတ်ဝေမပြုမီ အတွင်းပိုင်းတွင် လုပ်ဆောင်နေသော အလားတူ လုံခြုံရေး စည်းမျဉ်းစည်းကမ်းများ ရှိပါတယ်။

📜

ရှာဖွေမှု စည်းမျဉ်းများ

တစ်ခုချင်းစီကိုအသုံးပြုသူ-agent ကိုအုပ်စုနှင့်၎င်း၏ခွင့်ပြု / Disallow စည်းမျဉ်းများ Parses ဒါကြောင့်သင်ကဘာကို blocked မှန်ကန်စွာမြင်နိုင်ပါတယ်.

🗺️

ကြေညာချက် sitemaps

robots.txt တွင်ရည်ညွှန်းအားလုံး sitemap ကိုစာရင်း, တစ်ခုချင်းစီကို fetches, နှင့်၎င်း၏အမျိုးအစားနှင့် URL ကိုစာရင်းအစီရင်ခံ.

⚠️

မေးမြန်းချက် စာလုံးများ ကြီးမား

မျိုးစေ့နီးကပ်-ပုံတူစာမျက်နှာများနှင့် trigger ပုံတူ-အကြောင်းအရာ demotions သော query-string sitemap URL များကိုတံဆိပ်များ.

🔗

ကျန်းမာရေး

ချို့ယွင်းချက်, redirect, သို့မဟုတ် non-XML ကိုပြန်လာ robots.txt မှာကြေညာ sitemaps သိမ်းဆည်း - တိတ်ဆိတ် crawl သတ်သမား.

မေးလေ့ရှိသောမေးခွန်းများ

ရှာဖွေရေးအင်ဂျင်များသူတို့ကို crawl, ကွဲပြားခြားနား parameters တွေကိုအောက်တွင်တူညီတဲ့အကြောင်းအရာကိုတွေ့ရှိ, နှင့် duplicate content များအတွက်တစ်ဦးလုံး cluster ကို demote. ဒီ tester ဟာဖြစ်ပျက်မတိုင်မီသူတို့ကို flags.
ဟုတ်ကဲ့. တစ်ဦးပျောက်ဆုံးနေသို့မဟုတ်အလွတ် robots.txt ရိုးရှင်းစွာအားလုံး crawling ခွင့်ပြု. အန္တရာယ်ကင်းမဲ့သည်အပြန်အလှန်ဖြစ်ပါသည်: သင်indexed လိုချင်တဲ့စာမျက်နှာများကို block သောတစ်ဦး over-wide disallow, သို့မဟုတ်အမှားတစ်ခုပြန်လာသော robots.txt တွင်ကြေညာချက်တစ်ခု sitemap.
ဟုတ်ကဲ့. ကျနော်တို့ robots.txt နှင့် sitemaps တွေကိုထုတ်ပြန်ကြေညာချက်ကို fetch, ထိုအခါတစ်ဦးချင်းစီမှ URL များနမူနာဖတ်. ကျနော်တို့ recursively အားလုံးစာမျက်နှာများကို crawl မ, ထို့ကြောင့်စမ်းသပ်ချက်မြန်ဆန်ပြီးသင့်ရဲ့ server ကို load မလုပ်ပါလိမ့်မယ်.
ဟုတ်ကဲ့, အဆိုပါ tester ကို signup မရှိဘဲအခမဲ့ဖြစ်ပါသည်. REST API ကိုမှတဆင့် program ကို access ကိုပေးဆောင်စီမံခန့်ခွဲအစီအစဉ်များပေါ်တွင်ရရှိနိုင်သည်.
⚙️ ဖန်တီးသူများ

သင်၏ပိုက်လိုင်းထဲမှာ run

ဤစစ်ဆေးခြင်းလုံးဝ server-side ကို runs - သင် URL ကိုတင်သွင်း, ကျွန်တော်တို့ရဲ့ backend fetches နှင့် robots.txt နှင့်ကြေညာချက် sitemaps ကို parses, ထိုအခါရလဒ်များနှင့်အတူဤစာမျက်နှာကို re-renders. CI / CD ကိုနှင့် bulk auditing အတွက် programmatic REST API ကိုပေးဆောင်စီမံခန့်ခွဲအစီအစဉ်များပေါ်တွင်ရရှိနိုင်ဖြစ်ပါသည်. စီမံကိန်းများကြည့်ပါ →