robots.txt & Sitemap ကိုစစ်ဆေး
ကျွန်တော်တို့ဟာကျွန်တော်တို့ရဲ့ဆာဗာကနေ၎င်း၏ robots.txt နှင့် sitemap.xml ကို fetch, သင်က crawl အမိန့်နှင့်ကြေညာချက် sitemaps ကိုပြသ, နှင့် duplicate-content demotions ဖြစ်စေသော query-string sitemap URL များကိုဖုံးကွယ်.
robots.txt နှင့် sitemap.xml ကိုစမ်းသပ်ဖို့ဘယ်လို
လေးခြေလှမ်းများ, မှတ်ပုံတင်ခြင်းမရှိပါ. တစ်ခုလုံးစစ်ဆေး server-side ကို runs.
နေရာ URL ကို paste
သင်သည် robots.txt သို့အပြည့်အဝလမ်းကြောင်းလိုအပ်ပါတယ်မဟုတ်, ကျနော်တို့က host ကနေ derivate သောကြောင့်.
ကျွန်တော်တို့ရဲ့ဆာဗာကနေ fetch
ကျွန်တော်တို့ရဲ့ဆာဗာက robots.txt နှင့်အတိုင်းကြေညာ sitemap.xml ကိုတောင်းဆို, ဒါကြောင့်စမ်းသပ်မှုသင့်ရဲ့ browser ကိုသို့မဟုတ်သင့်ကိုယ်ပိုင် cache ကိုမှ blocked မဟုတ်ပါဘူး.
အမိန့်နှင့် sitemaps ဖတ်ပါ
ခွဲခြမ်းစိတ်ဖြာ user-agent ကိုအုပ်စုများပြန်လည်ဆန်းစစ်ခြင်း, disallow စည်းမျဉ်းများနှင့်ကြေညာချက် sitemaps ၏စာရင်း, တစ်ခုချင်းစီမှ URL ကိုနမူနာနှင့်အတူ.
အမှတ်အသားပြုထားသည်များကို ပြင်ဆင်ပါ
ရှာဖွေရေးအင်ဂျင်ကို duplicates ကိုဆင်းသက်မတိုင်မီမည်သည့် query-string sitemap URL များသို့မဟုတ်ပိတ်ဆို့-ဒါပေမယ့်-indexed ပဋိပက္ခများဖြေရှင်း.
ဒီစစ်ဆေးသူစစ်ဆေးသည်
ကျွန်တော်တို့ဟာ စာမျက်နှာတစ်မျက်နှာတည်းကို ထုတ်ဝေမပြုမီ အတွင်းပိုင်းတွင် လုပ်ဆောင်နေသော အလားတူ လုံခြုံရေး စည်းမျဉ်းစည်းကမ်းများ ရှိပါတယ်။
ရှာဖွေမှု စည်းမျဉ်းများ
တစ်ခုချင်းစီကိုအသုံးပြုသူ-agent ကိုအုပ်စုနှင့်၎င်း၏ခွင့်ပြု / Disallow စည်းမျဉ်းများ Parses ဒါကြောင့်သင်ကဘာကို blocked မှန်ကန်စွာမြင်နိုင်ပါတယ်.
ကြေညာချက် sitemaps
robots.txt တွင်ရည်ညွှန်းအားလုံး sitemap ကိုစာရင်း, တစ်ခုချင်းစီကို fetches, နှင့်၎င်း၏အမျိုးအစားနှင့် URL ကိုစာရင်းအစီရင်ခံ.
မေးမြန်းချက် စာလုံးများ ကြီးမား
မျိုးစေ့နီးကပ်-ပုံတူစာမျက်နှာများနှင့် trigger ပုံတူ-အကြောင်းအရာ demotions သော query-string sitemap URL များကိုတံဆိပ်များ.
ကျန်းမာရေး
ချို့ယွင်းချက်ကို robots.txt မှာကြေညာ sitemaps သိမ်းဆည်း, redirect, သို့မဟုတ် non-XML ကိုပြန်လာ. ဤသည် silent crawl သတ်သမားများဖြစ်ကြသည်။
မေးလေ့ရှိသောမေးခွန်းများ
သင်၏ပိုက်လိုင်းထဲမှာ run
ဤစစ်ဆေးခြင်းလုံးဝ server-side ကို runs. သင် URL ကိုတင်သွင်း, ကျွန်တော်တို့ရဲ့ backend fetches နှင့် robots.txt နှင့်ကြေညာချက် sitemaps ကို parses, ထိုအခါရလဒ်များနှင့်အတူဤစာမျက်နှာကို re-renders. CI / CD ကိုနှင့် bulk auditing အတွက် programmatic REST API ကိုပေးဆောင်စီမံခန့်ခွဲအစီအစဉ်များပေါ်တွင်ရရှိနိုင်ဖြစ်ပါသည်. စီမံကိန်းများကြည့်ပါ →
ပရိုဂရမ်မပါဘဲ သုံးပါ
အားလုံး tool ကို Pro ကိုနှင့် API စီမံကိန်းများအပေါ်တစ်ဦးအတည်ပြု REST API ကိုမှတဆင့်ရရှိနိုင်. သင့်ရဲ့ CI, CMS, သို့မဟုတ် dashboards ထဲသို့ wire ကို.