เครื่องมือทดสอบแผนที่เว็บไซต์และ robots. txt
ป้อนที่อยู่ URL ของเว็บไซต์ใด ๆ เราจะดึง robots. txt และ sitemap. xml จากเซิร์ฟเวอร์ของเรา, แสดงคำสั่งคราฟและแผนที่เว็บไซต์ที่ประกาศ และแสดงที่อยู่ URL ของแผนที่เว็บไซต์ที่ทำการถอดรหัสเนื้อหา
วิธีการทดสอบ robots.txt และ sitemap.xml
4 ขั้นตอน ไม่มีการลงทะเบียน ตรวจสอบทั้งหมดทำงานบนเซิร์ฟเวอร์
ปักหมุดที่อยู่ URL ของเว็บไซต์
ป้อนที่อยู่ URL ของหน้าแรกของเว็บไซต์ใด ๆ คุณไม่ต้องการให้ระบุพาธของ robots. txt เต็ม ๆ เลย เราจะใช้พาธที่มาจากโฮสต์
เราจะเอาข้อมูลจากเซิร์ฟเวอร์ของเรา
เซิร์ฟเวอร์ของเราขอร้อง robots.txt และทุกอย่างที่ประกาศ sitemap.xml ดังนั้นการทดสอบจะไม่ถูกบล็อกโดยเบราว์เซอร์ของคุณ หรือแคชของคุณเอง
อ่านคำสั่งและแผนที่เว็บไซต์
ตรวจสอบกลุ่มเอเจ้นท์ผู้ใช้ที่ถูกวิเคราะห์, กฎการไม่อนุญาต และรายการของแผนที่เว็บไซต์ที่ประกาศไว้, ด้วย URL ตัวอย่างจากแต่ละรายการ
แก้ไขสิ่งที่ถูกกำหนดเป็น
แก้ไข URL ของแผนที่เว็บไซต์ที่ใช้คำถามหรือข้อขัดแย้งที่ถูกบล็อกแต่มีดัชนีก่อนที่เครื่องมือค้นหาจะลดระดับการซ้ำซ้อน
เครื่องทดสอบนี้ตรวจสอบอะไร
เหมือนกับการป้องกันที่เราใช้ภายใน ก่อนที่จะตีพิมพ์หน้าเดียว
คำสั่งค้นหา
วิเคราะห์กลุ่มผู้ใช้- เอเจนต์แต่ละกลุ่ม และกฎการอนุญาต/ ปฏิเสธการอนุญาตของมัน เพื่อให้คุณสามารถดูได้ว่าอะไรถูกบล็อก
ประกาศแผนที่เว็บไซต์
แสดงรายการแผนที่เว็บไซต์ที่อ้างถึงใน robots. txt ทุกรายการ, ดึงข้อมูลจากแต่ละรายการ และรายงานประเภทและจำนวน URL ของมัน
คำถามที่บวม
ตั้งค่าที่อยู่ URL ของแผนที่เว็บไซต์ที่ใช้คำถามเป็นสัญลักษณ์ ซึ่งจะทำให้เกิดหน้าที่คล้ายกัน และกระตุ้นการลดระดับเนื้อหาที่คล้ายกัน
เอาชีวิตมา
จับกุมแผนที่เว็บไซต์ที่ประกาศใน robots.txt ที่ผิดพลาด, ปรับทิศทาง, หรือกลับมาเป็น non- XML - ฆ่าตัวตายโดยการค้นหาแบบเงียบๆ
คำถามที่ถามบ่อย
ขับมันไปในท่อของคุณ
เครื่องมือทดสอบนี้ทำงานบนเซิร์ฟเวอร์โดยสิ้นเชิง - คุณส่ง URL, เบื้องหลังของเราดึงและวิเคราะห์ robots. txt และแผนที่เว็บไซต์ที่ประกาศ, จากนั้นแสดงหน้านี้ด้วยผลลัพธ์ใหม่. โปรแกรม REST API สำหรับ CI / CD และตรวจสอบจำนวนมากมีให้เลือกในแผนการจัดการที่จ่ายเงิน ลองดูแผน →