🤖 ການຂຸດຄົ້ນ​ລາຍ​ການ

robots.txt & amp; ແຜນທີ່ເວັບໄຊຕ໌ທົດສອບ

ເຂົ້າສູ່ລະບົບ URL ຂອງເວັບໄຊໃດຫນຶ່ງ. ພວກເຮົາເອົາ robots.txt ແລະ sitemap.xml ຈາກເຊີບເວີຂອງພວກເຮົາ, ສະແດງໃຫ້ເຫັນຄໍາແນະນໍາການຄຣາວແລະ sitemaps ປະກາດ, ແລະປ້າຍຄໍາຖາມ string URL sitemap ທີ່ເຮັດໃຫ້ການຫຼຸດລົງເນື້ອຫາແບບດຽວກັນ.

ວິທີການທົດສອບ robots.txt ແລະ sitemap.xml

4 ຂັ້ນຕອນ, ບໍ່ມີ​ການ​ລົງທະບຽນ. ການກວດສອບ​ທັງ​ໝົດ​ແມ່ນ​ແລ່ນ​ຢູ່​ດ້ານ​ເຊີບເວີ.

1

ປ້າຍ URL ຂອງ​ເວັບໄຊ

ເຂົ້າ​ໄປ​ທີ່​ URL ຂອງ​ຫນ້າ​ທໍາ​ອິດ​ຂອງ​ເວັບໄຊ​ໃດ​ໜຶ່ງ. ທ່ານ​ບໍ່​ຕ້ອງ​ການ​ເສັ້ນທາງ​ເຕັມ​ໄປ​ຫາ robots. txt — ພວກເຮົາ​ໄດ້​ຮັບ​ມັນ​ຈາກ​ເຄື່ອງ​ແມ່ຂ່າຍ.

2

ເອົາ​ຈາກ​ເຊີບເວີ

ບໍລິການຂອງພວກເຮົາຮ້ອງຂໍ robots.txt ແລະທຸກໆ sitemap.xml ປະກາດ, ດັ່ງນັ້ນການທົດສອບແມ່ນບໍ່ຖືກບັງຄັບໂດຍຕົວທ່ອງເວັບຂອງທ່ານຫຼື cache ຂອງທ່ານເອງ.

3

ອ່ານ​ຄໍາ​ແນະ​ນໍາ ແລະ sitemaps

ກວດເບິ່ງກຸ່ມ user- agent ທີ່​ໄດ້​ວິເຄາະ, ບໍ່​ອະນຸຍາດ​ໃຫ້​ມີ​ກົດ​ລະບຽບ ແລະ ລາຍ​ຊື່​ຂອງ​ແຜນ​ທີ່​ເວັບໄຊ​ທີ່​ໄດ້​ປະກາດ, ​ດ້ວຍ​ຕົວຢ່າງ URL ຈາກ​ແຕ່ລະ​ຄົນ.

4

ແກ້ໄຂ​ສິ່ງທີ່​ໄດ້​ຖືກ​ສະ​ແດງ

ແກ້ໄຂຄໍາຖາມ-string sitemap URLs ຫຼືບລັອກ-ແຕ່-ລາຍການຄວາມຂັດແຍ່ງກ່ອນທີ່ເຄື່ອງຈັກຊອກຫາຫຼຸດລົງການຫຸ້ມຫໍ່.

ສິ່ງທີ່​ຕົວທົດສອບ​ນີ້​ກວດສອບ

ສິ່ງດຽວກັນທີ່ເຮົາປະຕິບັດພາຍໃນ ກ່ອນທີ່ຈະເຜີຍແຜ່ ໜ້າດຽວ.

📜

ຄໍາ​ສັ່ງ​ຄຣາວ

ວິເຄາະ user- agent ກຸ່ມ​ແຕ່ລະກຸ່ມ ແລະ ກົດ​ອະນຸຍາດ / ບໍ່ອະນຸຍາດ ເພື່ອໃຫ້​ທ່ານ​ສາມາດ​ເບິ່ງ​ໄດ້​ວ່າ​ມີ​ຫຍັງ​ຖືກ​ບລັອກ​ຢ່າງ​ແທ້ຈິງ

🗺️

ແຜນທີ່​ເວັບໄຊ

ລາຍຊື່ທຸກ sitemap ຄໍາແນະນໍາໃນ robots.txt, fetch ແຕ່ລະຄົນ, ແລະລາຍງານປະເພດແລະຈໍານວນ URL.

⚠️

ຄໍາ​ຖາມ​ຂໍ້​ຄວາມ​ທີ່​ໃຫຍ່

ເປີດ​ປ້າຍ​ຄໍາ​ຖາມ​ສາຍ​ຄໍາ​ທີ່ URLs ແຜນທີ່​ເວັບໄຊ​ທີ່​ມີ​ໃກ້​ກັບ​ການ​ປູກ​ໃກ້​ກັບ​ການ​ຖ່າຍ​ທອດ​ຫນ້າ ແລະ ກະຕຸ້ນ​ການ​ຖ່າຍ​ທອດ​ເນື້ອ​ໃນ​ຫຼຸດ​ລົງ.

🔗

​ດາວໂຫລດ​ສຸຂະພາບ

ຈັບ sitemaps ປະກາດໃນ robots.txt ວ່າຂໍ້ຜິດພາດ, ປ່ຽນເສັ້ນທາງ, ຫຼືກັບຄືນໄປບ່ອນທີ່ບໍ່ XML - ສັດຕູ crawl ງຽບ.

ຄໍາຖາມທີ່ຖາມເລື້ອຍໆ

URL ຄໍາຖາມ-string ດຽວໃນ sitemap ສາມາດປູກພັນຂອງໃກ້-ຫນ້າທີ່ຄ້າຍຄືກັນ. ເຄື່ອງຈັກຊອກຫາ crawl ພວກເຂົາ, ຊອກຫາເນື້ອໃນດຽວກັນພາຍໃຕ້ຕົວກໍານົດການທີ່ແຕກຕ່າງກັນ, ແລະຫຼຸດລົງ cluster ທັງຫມົດສໍາລັບເນື້ອໃນທີ່ຄ້າຍຄືກັນ. ຜູ້ທົດສອບນີ້ flags ພວກເຂົາກ່ອນທີ່ມັນຈະເກີດຂຶ້ນ.
ບໍ່ມີ. robots.txt ທີ່ສູນເສຍຫຼືປິດພຽງແຕ່ອະນຸຍາດໃຫ້ການຄ້ ຳ ປະກັນທັງຫມົດ. ຄວາມສ່ຽງແມ່ນກົງກັນຂ້າມ: ອະນຸຍາດໃຫ້ກວ້າງເກີນໄປທີ່ບລັອກຫນ້າທີ່ທ່ານຕ້ອງການໃຫ້ເປັນລາຍການຫຼື sitemap ທີ່ປະກາດໃນ robots.txt ທີ່ສົ່ງຂໍ້ຜິດພາດ.
ບໍ່. ພວກເຮົາເອົາ robots.txt ແລະ sitemaps ມັນປະກາດ, ຫຼັງຈາກນັ້ນອ່ານຕົວຢ່າງຂອງ URLs ຈາກແຕ່ລະຄົນ. ພວກເຮົາບໍ່ຄລິກໃສ່ຫນ້າທຸກໆຫນ້າ, ສະນັ້ນການທົດສອບແມ່ນໄວແລະຈະບໍ່ໂຫຼດເຊີບເວີຂອງທ່ານ.
ແມ່ນແລ້ວ, ຜູ້ທົດສອບແມ່ນຟຣີໂດຍບໍ່ມີການລົງທະບຽນ. ການເຂົ້າເຖິງໂປແກຼມຜ່ານ REST API ແມ່ນມີຢູ່ໃນແຜນທີ່ຈ່າຍຈັດການ.
⚙️ ສຳ​ລັບ​ຜູ້​ພັດທະນາ

ປະຕິບັດ​ມັນ​ໃນ​ສາຍ​ສົ່ງ​ຂອງທ່ານ

ການທົດສອບນີ້ແລ່ນທັງ ໝົດ ດ້ານເຊີບເວີ - ທ່ານສະ ເໜີ URL, backend ຂອງພວກເຮົາໄດ້ຮັບແລະວິເຄາະ robots.txt ແລະ sitemaps ທີ່ປະກາດ, ຫຼັງຈາກນັ້ນເຮັດ ໜ້າ ນີ້ຄືນ ໃໝ່ ດ້ວຍຜົນໄດ້ຮັບ. REST API ສໍາລັບ CI / CD ແລະກວດສອບ bulk ແມ່ນມີຢູ່ໃນແຜນທີ່ຈ່າຍທີ່ໄດ້ຮັບການບໍລິຫານ. ເບິ່ງ​ແຜນ →