& Chọn...

Robots. txt & Sitemap

Chúng tôi lấy robots.txt và sitemap.xml của nó từ máy chủ của chúng tôi, cho bạn thấy các chỉ thị crawl và bản đồ trang web tuyên bố, và đánh dấu các URL sitemap câu hỏi-đường dẫn gây ra sự hạ cấp nội dung sao chép.

Xem thêm robots.txt và sitemap.xml.

Bốn bước, không đăng ký, toàn bộ kiểm tra chạy bên máy chủ.

1

dán URL trang web

Nhập URL trang chủ của bất kỳ website nào. Bạn không cần đường dẫn đầy đủ đến robots.txt, vì chúng tôi suy ra từ host.

2

Chúng tôi lấy từ máy chủ của chúng tôi

Máy chủ của chúng tôi yêu cầu robots.txt và mỗi sitemap.xml được tuyên bố, vì vậy bài kiểm tra không bị chặn bởi trình duyệt hoặc cache của riêng bạn.

3

Đọc các chỉ thị và bản đồ trang

Xem xét các nhóm người dùng-đối tượng phân tích, không cho phép các quy tắc và danh sách các bản đồ trang web tuyên bố, với một URL mẫu từ mỗi.

4

Sửa những gì đã được đánh dấu

Xử lý bất kỳ URL sitemap câu hỏi-đường hay xung đột bị chặn nhưng được chỉ mục trước khi một công cụ tìm kiếm hạ cấp các bản sao.

Điều mà bộ kiểm tra này kiểm tra

Cũng như những rào chắn mà chúng ta chạy bên trong trước khi xuất bản một trang.

📜

Chỉ thị Crawl

Xác định mỗi nhóm người dùng- đại diện và quy tắc Cho phép / Không cho phép của nó để bạn có thể thấy chính xác những gì bị chặn.

🗺️

Bản đồ trang đã tuyên bố

Danh sách tất cả các bản đồ trang được tham chiếu trong robots.txt, lấy mỗi, và báo cáo kiểu và số URL của nó.

⚠️

Bụng chuỗi câu hỏi

Flags query-string sitemap URLs that seed near-duplicate pages and trigger duplicate-content demotions.

🔗

Lấy sức khỏe

Bắt các sitemap được khai báo trong robots.txt bị lỗi, chuyển hướng hoặc trả về nội dung không phải XML. Đây là những kẻ giết việc thu thập âm thầm.

Câu hỏi thường gặp

Một URL chuỗi câu hỏi đơn trong bản đồ trang có thể tạo ra hàng ngàn trang gần giống nhau. Các công cụ tìm kiếm sẽ quét chúng, tìm thấy nội dung giống nhau dưới các tham số khác nhau, và hạ thấp toàn bộ cụm vì nội dung giống nhau. Thiết bị kiểm tra này sẽ đánh dấu chúng trước khi điều đó xảy ra.
Không. Robots. txt bị thiếu hoặc rỗng chỉ đơn giản cho phép tất cả các hoạt động truy cập. Rủi ro là ngược lại: một phép từ chối quá rộng sẽ chặn các trang bạn muốn chỉ mục, hoặc một bản đồ trang web được tuyên bố trong robots. txt sẽ trả về lỗi.
Không. Chúng tôi lấy robots.txt và bản đồ trang web nó tuyên bố, sau đó đọc một mẫu URL từ mỗi trang. Chúng tôi không truy cập lại mỗi trang, vì vậy thử nghiệm nhanh và không tải máy chủ của bạn.
Có, người thử nghiệm miễn phí mà không cần đăng ký. Truy cập chương trình thông qua một API REST có sẵn trên các kế hoạch quản lý trả phí.
Cho các nhà phát triển

Chạy nó trong ống dẫn của anh

Trình kiểm tra này chạy hoàn toàn phía máy chủ. Bạn gửi một URL, backend của chúng tôi tải và phân tích robots.txt cùng các sitemap được khai báo, rồi hiển thị lại trang này kèm kết quả. REST API lập trình cho CI/CD và kiểm tra hàng loạt có sẵn trên các gói được quản lý trả phí. Xem kế hoạch →

API của nhà phát triển

Dùng nó theo chương trình

Mọi công cụ đều có sẵn qua một REST API có xác thực trên các gói Pro và API. Hãy tích hợp vào CI, CMS hoặc bảng điều khiển của bạn.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Lấy chìa khóa API → Được tính, giá mỗi cuộc gọi. Mức miễn phí cho công cụ tương tác trên.
Kiểm tra mọi trang trên website, không phải từng trang một
Pro kết nối Google Search Console, tải mọi trang Google đã bỏ qua, mọi trang bị lỗi và mọi trang xếp hạng thấp, rồi viết những gì cần sửa trên từng trang.
Xem Pro hoạt động thế nào