เครื่องมือทดสอบแผนที่เว็บไซต์และ robots. txt
ป้อนที่อยู่ URL ของเว็บไซต์ใด ๆ เราจะดึง robots. txt และ sitemap. xml จากเซิร์ฟเวอร์ของเรา, แสดงคำสั่งคราฟและแผนที่เว็บไซต์ที่ประกาศ และแสดงที่อยู่ URL ของแผนที่เว็บไซต์ที่ทำการถอดรหัสเนื้อหา
วิธีการทดสอบ robots.txt และ sitemap.xml
4 ขั้นตอน ไม่มีการลงทะเบียน ตรวจสอบทั้งหมดทำงานบนเซิร์ฟเวอร์
ปักหมุดที่อยู่ URL ของเว็บไซต์
ป้อนที่อยู่ URL ของหน้าแรกของเว็บไซต์ใด ๆ คุณไม่ต้องการให้ระบุพาธของ robots. txt เต็ม ๆ เพราะเราจะใช้พาธที่ได้จากเครื่อง
เราจะเอาข้อมูลจากเซิร์ฟเวอร์ของเรา
เซิร์ฟเวอร์ของเราขอร้อง robots.txt และทุกอย่างที่ประกาศ sitemap.xml ดังนั้นการทดสอบจะไม่ถูกบล็อกโดยเบราว์เซอร์ของคุณ หรือแคชของคุณเอง
อ่านคำสั่งและแผนที่เว็บไซต์
ตรวจสอบกลุ่มเอเจ้นท์ผู้ใช้ที่ถูกวิเคราะห์, กฎการไม่อนุญาต และรายการของแผนที่เว็บไซต์ที่ประกาศไว้, ด้วย URL ตัวอย่างจากแต่ละรายการ
แก้ไขสิ่งที่ถูกกำหนดเป็น
แก้ไข URL ของแผนที่เว็บไซต์ที่ใช้คำถามหรือข้อขัดแย้งที่ถูกบล็อกแต่มีดัชนีก่อนที่เครื่องมือค้นหาจะลดระดับการซ้ำซ้อน
เครื่องทดสอบนี้ตรวจสอบอะไร
เหมือนกับการป้องกันที่เราใช้ภายใน ก่อนที่จะตีพิมพ์หน้าเดียว
คำสั่งค้นหา
วิเคราะห์กลุ่มผู้ใช้- เอเจนต์แต่ละกลุ่ม และกฎการอนุญาต/ ปฏิเสธการอนุญาตของมัน เพื่อให้คุณสามารถดูได้ว่าอะไรถูกบล็อก
ประกาศแผนที่เว็บไซต์
แสดงรายการแผนที่เว็บไซต์ที่อ้างถึงใน robots. txt ทุกรายการ, ดึงข้อมูลจากแต่ละรายการ และรายงานประเภทและจำนวน URL ของมัน
คำถามที่บวม
ตั้งค่าที่อยู่ URL ของแผนที่เว็บไซต์ที่ใช้คำถามเป็นสัญลักษณ์ ซึ่งจะทำให้เกิดหน้าที่คล้ายกัน และกระตุ้นการลดระดับเนื้อหาที่คล้ายกัน
เอาชีวิตมา
จับกุมแผนที่เว็บไซต์ที่ประกาศใน robots. txt ที่เกิดข้อผิดพลาด, ปรับทิศทาง, หรือกลับมาเป็นแบบที่ไม่ใช่ XML นี่คือการฆ่าตัวตายแบบเงียบๆ
คำถามที่ถามบ่อย
ขับมันไปในท่อของคุณ
เครื่องมือทดสอบนี้ทำงานบนเซิร์ฟเวอร์โดยสมบูรณ์ คุณส่ง URL ไปให้ เบ็คเอนด์ของเราจะดึงและวิเคราะห์ robots.txt และแผนที่เว็บไซต์ที่ประกาศแล้ว หลังจากนั้นจะแสดงหน้านี้ใหม่ด้วยผลลัพธ์ REST API สำหรับ CI/CD และตรวจสอบจำนวนมากมีให้ใช้ในแผนการจัดการที่จ่ายเงิน ลองดูแผน →
ใช้มันตามโปรแกรม
เครื่องมือทั้งหมดสามารถเข้าถึงได้ผ่าน API แบบ REST ที่มีการยืนยันตัวตน ซึ่งมีให้ใช้งานในแผนบริการ Pro และ API คุณสามารถเชื่อมต่อเครื่องมือเหล่านี้เข้ากับระบบ CI (Continuous Integration), CMS (Content Management System) หรือแดชบอร์ดของคุณได้.