ការ​បង្កើត​លិបិក្រម​ស្វែងរក

robots.txt និង ផែនទី តំបន់ តេស្ត

បញ្ចូល URL តំបន់បណ្ដាញណាមួយ. យើងយក robots.txt និង sitemap.xml ពីម៉ាស៊ីនបម្រើរបស់យើង, បង្ហាញអ្នកនូវការណែនាំ crawl និង sitemaps បានប្រកាសនិងទង់ URL ផែនទីតំបន់បណ្ដាញសំណួរខ្សែអក្សរដែលបណ្តាលឱ្យមានការធ្លាក់ចុះមាតិកាស្ទួន.

តើធ្វើដូចម្តេចដើម្បីសាកល្បង robots.txt និង sitemap.xml

ជំហាន​បួន គ្មាន​ការ​ចុះឈ្មោះ & # 160; ។ ការ​ពិនិត្យ​ទាំង​មូល​រត់​នៅ​ខាង​ម៉ាស៊ីន​បម្រើ & # 160; ។

1

បិទភ្ជាប់ URL របស់​តំបន់​បណ្ដាញ

បញ្ចូល URL ទំព័រ​ផ្ទះ​របស់​តំបន់​បណ្ដាញ​ណាមួយ​។ អ្នក​មិន​ត្រូវការ​ផ្លូវ​ពេញលេញ​ទៅ robots.txt, ដោយសារតែ​យើង​បាន​ដក​វា​ពី​ម៉ាស៊ីន.

2

យើង​ទៅ​យក​ពី​ម៉ាស៊ីន​បម្រើ​របស់​យើង

ម៉ាស៊ីនបម្រើរបស់យើងស្នើសុំ robots.txt និង sitemap.xml ប្រកាសរាល់, ដូច្នេះការធ្វើតេស្តនេះគឺមិនត្រូវបានរារាំងដោយកម្មវិធីរុករករបស់អ្នកឬឃ្លាំងសម្ងាត់ផ្ទាល់ខ្លួនរបស់អ្នក.

3

អាន​សេចក្ដី​ណែនាំ និង​ផែនទី​តំបន់​បណ្ដាញ

ពិនិត្យ​មើល​ក្រុម​ភ្នាក់ងារ​អ្នក​ប្រើ​ដែល​បាន​ញែក អនុញ្ញាត​ឲ្យ​ច្បាប់ និង​បញ្ជី​នៃ​ផែនទី​តំបន់​បណ្ដាញ​ដែល​បាន​ប្រកាស​ជាមួយ​ URL ឧទាហរណ៍​ពី​នីមួយៗ & # 160; ។

4

កែ​អ្វី​ដែល​បាន​ដាក់​ទង់

ដោះស្រាយ URLs ផែនទីតំបន់បណ្ដាញខ្សែអក្សរសំណួរណាមួយឬការទប់ស្កាត់ប៉ុន្តែមានលិបិក្រមជម្លោះមុនពេលម៉ាស៊ីនស្វែងរកចុះខ្សោយការស្ទួន.

អ្វី​ដែល​កម្មវិធី​សាកល្បង​នេះ​ពិនិត្យ​មើល

ការពារ​ដូចគ្នា​ដែល​យើង​រត់​ខាង​ក្នុង​មុន​ពេល​បោះពុម្ព​ផ្សាយ​ទំព័រ​តែ​មួយ & # 160; ។

📜

សេចក្ដី​ណែនាំ​អំពី​ការ​រុករក

ញែក​ក្រុម​ភ្នាក់ងារ​អ្នក​ប្រើ​នីមួយៗ និង​ច្បាប់​អនុញ្ញាត / មិន​អនុញ្ញាត​របស់​វា ដូច្នេះ​អ្នក​អាច​មើល​ឃើញ​យ៉ាង​ច្បាស់​នូវ​អ្វី​ដែល​បាន​ទប់ស្កាត់ & # 160; ។

🗺️

បាន​ប្រកាស​ផែនទី​តំបន់​បណ្ដាញ

បញ្ជីផែនទីតំបន់បណ្ដាញទាំងអស់ដែលបានយោងនៅក្នុង robots.txt, យករៀងរាល់និងរាយការណ៍ប្រភេទនិងចំនួន URL របស់វា.

⚠️

ខ្សែអក្សរ​សំណួរ​ដែល​បាន​ពង្រីក

ទង់ URLs ផែនទី​តំបន់​បណ្ដាញ​ខ្សែអក្សរ​សំណួរ​ដែល​បាន​ដាំ​នៅ​ជិត​ទំព័រ​ស្ទួន និង​កេះ​ការ​ចុះ​ចំណង​ជើង​មាតិកា​ស្ទួន & # 160; ។

🔗

យក​សុខភាព

ចាប់បាន sitemaps បានប្រកាសនៅក្នុង robots.txt ដែលកំហុស, ផ្លាស់ទី, ឬត្រឡប់ទៅជា XML មិនមែន. ទាំងនេះគឺអ្នកសម្លាប់ crawl ស្ងៀមស្ងាត់.

សំណួរ​ដែល​សួរ​ញឹកញាប់

URL ខ្សែអក្សរសំណួរតែមួយនៅក្នុងផែនទីតំបន់បណ្ដាញអាចបង្កាត់ពូជរាប់ពាន់នៃទំព័រជិតស្ទួន. ម៉ាស៊ីនស្វែងរក crawl ពួកគេ, រកឃើញមាតិកាដូចគ្នានៅក្រោមប៉ារ៉ាម៉ែត្រផ្សេងគ្នា, និងចុះខ្សោយ cluster ទាំងមូលសម្រាប់មាតិកាស្ទួន. ឧបករណ៍សាកល្បងនេះបានដាក់ទង់ពួកគេមុនពេលដែលវាកើតឡើង.
គ្មាន. robots.txt បាត់ឬទទេគ្រាន់តែអនុញ្ញាតឱ្យទាំងអស់ crawling. ហានិភ័យគឺផ្ទុយ: អនុញ្ញាតឱ្យទូលំទូលាយដែលទប់ស្កាត់ទំព័រដែលអ្នកចង់បានលិបិក្រម, ឬផែនទីតំបន់បណ្ដាញដែលបានប្រកាសនៅក្នុង robots.txt ដែលត្រឡប់មកវិញកំហុស.
ទេ. យើងយក robots.txt និងផែនទីតំបន់បណ្ដាញដែលវាបានប្រកាស, បន្ទាប់មកអានឧទាហរណ៍នៃ URLs ពីរៀងៗខ្លួន. យើងមិន crawl ទំព័រនីមួយៗដោយចៃដន្យ, ដូច្នេះការធ្វើតេស្តគឺលឿនហើយនឹងមិនផ្ទុកម៉ាស៊ីនបម្រើរបស់អ្នក.
បាទ, អ្នកសាកល្បងគឺឥតគិតថ្លៃដោយគ្មានការចុះឈ្មោះ. កម្មវិធីចូលដំណើរការតាមរយៈ API REST មាននៅលើផែនការគ្រប់គ្រងដែលបានបង់ប្រាក់.
សម្រាប់​អ្នក​អភិវឌ្ឍន៍

រត់​វា​នៅ​ក្នុង​បំពង់​របស់​អ្នក

អ្នក ផ្ញើ URL មួយ, ផ្នែក ខាង ក្រោយ របស់យើង យក និង វិភាគ robots.txt និង ផែនទី តំបន់ បណ្ដាញ បាន ប្រកាស, បន្ទាប់មក ធ្វើ ឡើងវិញ ទំព័រ នេះ ជាមួយ លទ្ធផល. កម្មវិធី REST API សម្រាប់ CI / CD និង ការ ត្រួត ពិនិត្យ ធំ មាន នៅ លើ ផែនការ គ្រប់គ្រង បង់ ប្រាក់. មើល​ផែនការ →

API របស់​អ្នក​អភិវឌ្ឍន៍

ប្រើ​វា​ជា​កម្មវិធី

ឧបករណ៍ទាំងអស់គឺអាចរកបានតាមរយៈការផ្ទៀងផ្ទាត់ភាពត្រឹមត្រូវមួយ REST API នៅលើគម្រោង Pro និង API. ខ្សែវាចូលទៅក្នុង CI របស់អ្នក, CMS, ឬ dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 យល់ព្រម
{ "ok": true, "result": { ... } }
យក​សោ API → តម្លៃ​តាម​ការ​ហៅ​ទូរស័ព្ទ​។ កម្រិត​ឥត​គិត​ថ្លៃ​សម្រាប់​ឧបករណ៍​អន្តរកម្ម​ខាងលើ ។
ពិនិត្យ​មើល​ទំព័រ​ទាំងអស់​នៃ​តំបន់​បណ្ដាញ​របស់​អ្នក មិន​មែន​មួយ​ក្នុង​ពេល​តែ​មួយ​ទេ
Pro ភ្ជាប់ Google Search Console, យកទំព័រទាំងអស់ Google បានរំលង, ទំព័រខូចទាំងអស់និងទំព័រទាំងអស់ដែលឈរទាប, និងសរសេរអ្វីដែលត្រូវជួសជុលលើមួយគ្នា។
មើល​របៀប​ដែល Pro ធ្វើការ