การค้นหาและสร้างดัชนี

เครื่องมือทดสอบแผนที่เว็บไซต์และ robots. txt

ป้อนที่อยู่ URL ของเว็บไซต์ใด ๆ เราจะดึง robots. txt และ sitemap. xml จากเซิร์ฟเวอร์ของเรา, แสดงคำสั่งคราฟและแผนที่เว็บไซต์ที่ประกาศ และแสดงที่อยู่ URL ของแผนที่เว็บไซต์ที่ทำการถอดรหัสเนื้อหา

วิธีการทดสอบ robots.txt และ sitemap.xml

4 ขั้นตอน ไม่มีการลงทะเบียน ตรวจสอบทั้งหมดทำงานบนเซิร์ฟเวอร์

1

ปักหมุดที่อยู่ URL ของเว็บไซต์

ป้อนที่อยู่ URL ของหน้าแรกของเว็บไซต์ใด ๆ คุณไม่ต้องการให้ระบุพาธของ robots. txt เต็ม ๆ เพราะเราจะใช้พาธที่ได้จากเครื่อง

2

เราจะเอาข้อมูลจากเซิร์ฟเวอร์ของเรา

เซิร์ฟเวอร์ของเราขอร้อง robots.txt และทุกอย่างที่ประกาศ sitemap.xml ดังนั้นการทดสอบจะไม่ถูกบล็อกโดยเบราว์เซอร์ของคุณ หรือแคชของคุณเอง

3

อ่านคำสั่งและแผนที่เว็บไซต์

ตรวจสอบกลุ่มเอเจ้นท์ผู้ใช้ที่ถูกวิเคราะห์, กฎการไม่อนุญาต และรายการของแผนที่เว็บไซต์ที่ประกาศไว้, ด้วย URL ตัวอย่างจากแต่ละรายการ

4

แก้ไขสิ่งที่ถูกกำหนดเป็น

แก้ไข URL ของแผนที่เว็บไซต์ที่ใช้คำถามหรือข้อขัดแย้งที่ถูกบล็อกแต่มีดัชนีก่อนที่เครื่องมือค้นหาจะลดระดับการซ้ำซ้อน

เครื่องทดสอบนี้ตรวจสอบอะไร

เหมือนกับการป้องกันที่เราใช้ภายใน ก่อนที่จะตีพิมพ์หน้าเดียว

📜

คำสั่งค้นหา

วิเคราะห์กลุ่มผู้ใช้- เอเจนต์แต่ละกลุ่ม และกฎการอนุญาต/ ปฏิเสธการอนุญาตของมัน เพื่อให้คุณสามารถดูได้ว่าอะไรถูกบล็อก

🗺️

ประกาศแผนที่เว็บไซต์

แสดงรายการแผนที่เว็บไซต์ที่อ้างถึงใน robots. txt ทุกรายการ, ดึงข้อมูลจากแต่ละรายการ และรายงานประเภทและจำนวน URL ของมัน

⚠️

คำถามที่บวม

ตั้งค่าที่อยู่ URL ของแผนที่เว็บไซต์ที่ใช้คำถามเป็นสัญลักษณ์ ซึ่งจะทำให้เกิดหน้าที่คล้ายกัน และกระตุ้นการลดระดับเนื้อหาที่คล้ายกัน

🔗

เอาชีวิตมา

จับกุมแผนที่เว็บไซต์ที่ประกาศใน robots. txt ที่เกิดข้อผิดพลาด, ปรับทิศทาง, หรือกลับมาเป็นแบบที่ไม่ใช่ XML นี่คือการฆ่าตัวตายแบบเงียบๆ

คำถามที่ถามบ่อย

URL ที่มีข้อความคำถามเพียงข้อเดียวในแผนที่เว็บไซต์ สามารถสร้างหน้าที่คล้ายกันได้หลายพันหน้า เครื่องมือค้นหาจะค้นหามัน และพบเนื้อหาที่คล้ายกันในพารามิเตอร์ที่แตกต่างกัน และลดระดับคลังข้อมูลทั้งหมดลงเพื่อหาเนื้อหาที่คล้ายกัน ตัวทดสอบนี้จะแสดงให้เห็นก่อนที่มันจะเกิดขึ้น
ไม่ หาก robots. txt หายไปหรือว่าว่าง จะทำให้มีการค้นหาทั้งหมดได้ ความเสี่ยงก็คือ ข้อความ disable ที่กว้างเกินไป จะทำให้หน้าที่คุณต้องการจะค้นหาไม่สามารถค้นหาได้ หรือแผนที่เว็บไซต์ที่ถูกประกาศไว้ใน robots. txt จะส่งผลให้เกิดข้อผิดพลาด
ไม่ เราเอา robots.txt และสไตล์ที่มันประกาศ แล้วอ่าน URL ตัวอย่างจากแต่ละตัว เราไม่ค้นหาทุกหน้า ดังนั้นการทดสอบจะเร็ว และไม่โหลดเซิร์ฟเวอร์ของคุณ
ใช่ เครื่องทดสอบนี้ฟรี โดยไม่ต้องลงทะเบียน การเข้าถึงโปรแกรมผ่าน API REST นั้นมีให้ในแผนการจัดการที่จ่ายเงิน
สำหรับผู้พัฒนา

ขับมันไปในท่อของคุณ

เครื่องมือทดสอบนี้ทำงานบนเซิร์ฟเวอร์โดยสมบูรณ์ คุณส่ง URL ไปให้ เบ็คเอนด์ของเราจะดึงและวิเคราะห์ robots.txt และแผนที่เว็บไซต์ที่ประกาศแล้ว หลังจากนั้นจะแสดงหน้านี้ใหม่ด้วยผลลัพธ์ REST API สำหรับ CI/CD และตรวจสอบจำนวนมากมีให้ใช้ในแผนการจัดการที่จ่ายเงิน ลองดูแผน →

API ของผู้พัฒนา

ใช้มันตามโปรแกรม

เครื่องมือทั้งหมดสามารถเข้าถึงได้ผ่าน API แบบ REST ที่มีการยืนยันตัวตน ซึ่งมีให้ใช้งานในแผนบริการ Pro และ API คุณสามารถเชื่อมต่อเครื่องมือเหล่านี้เข้ากับระบบ CI (Continuous Integration), CMS (Content Management System) หรือแดชบอร์ดของคุณได้.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
โอเค
{ "ok": true, "result": { ... } }
ดาวน์โหลดกุญแจ API → ค่าบริการตามการโทร ค่าบริการฟรีสำหรับเครื่องมืออินเตอร์แอคทีฟด้านบน
ตรวจสอบทุกหน้าของเว็บไซต์ของคุณ ไม่ใช่แต่หน้าเดียว
Pro เชื่อมต่อกับ Google Search Console เอาหน้าที่ Google พลาดไปทุกหน้า ทุกหน้าที่แตก และทุกหน้าที่อันดับต่ำ และเขียนสิ่งที่ต้องแก้ไขในแต่ละหน้า
เห็น Pro ทำงานยังไง