🤖 & Chọn...

Robots. txt & Sitemap

Chúng tôi lấy robots.txt và sitemap.xml của nó từ máy chủ của chúng tôi, cho bạn thấy các chỉ thị crawl và bản đồ trang web tuyên bố, và đánh dấu các URL sitemap câu hỏi-đường dẫn gây ra sự hạ cấp nội dung sao chép.

Xem thêm robots.txt và sitemap.xml.

Bốn bước, không đăng ký, toàn bộ kiểm tra chạy bên máy chủ.

1

dán URL trang web

Nhập URL trang chủ của bất kỳ trang nào. Bạn không cần phải biết đường dẫn đầy đủ đến robots.txt — chúng tôi lấy nó từ máy chủ.

2

Chúng tôi lấy từ máy chủ của chúng tôi

Máy chủ của chúng tôi yêu cầu robots.txt và mỗi sitemap.xml được tuyên bố, vì vậy bài kiểm tra không bị chặn bởi trình duyệt hoặc cache của riêng bạn.

3

Đọc các chỉ thị và bản đồ trang

Xem xét các nhóm người dùng-đối tượng phân tích, không cho phép các quy tắc và danh sách các bản đồ trang web tuyên bố, với một URL mẫu từ mỗi.

4

Sửa những gì đã được đánh dấu

Xử lý bất kỳ URL sitemap câu hỏi-đường hay xung đột bị chặn nhưng được chỉ mục trước khi một công cụ tìm kiếm hạ cấp các bản sao.

Điều mà bộ kiểm tra này kiểm tra

Cũng như những rào chắn mà chúng ta chạy bên trong trước khi xuất bản một trang.

📜

Chỉ thị Crawl

Xác định mỗi nhóm người dùng- đại diện và quy tắc Cho phép / Không cho phép của nó để bạn có thể thấy chính xác những gì bị chặn.

🗺️

Bản đồ trang đã tuyên bố

Danh sách tất cả các bản đồ trang được tham chiếu trong robots.txt, lấy mỗi, và báo cáo kiểu và số URL của nó.

⚠️

Bụng chuỗi câu hỏi

Flags query-string sitemap URLs that seed near-duplicate pages and trigger duplicate-content demotions.

🔗

Lấy sức khỏe

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML — silent crawl killers.

Câu hỏi thường gặp

Một URL chuỗi câu hỏi đơn trong bản đồ trang có thể tạo ra hàng ngàn trang gần giống nhau. Các công cụ tìm kiếm sẽ quét chúng, tìm thấy nội dung giống nhau dưới các tham số khác nhau, và hạ thấp toàn bộ cụm vì nội dung giống nhau. Thiết bị kiểm tra này sẽ đánh dấu chúng trước khi điều đó xảy ra.
Không. Robots. txt bị thiếu hoặc rỗng chỉ đơn giản cho phép tất cả các hoạt động truy cập. Rủi ro là ngược lại: một phép từ chối quá rộng sẽ chặn các trang bạn muốn chỉ mục, hoặc một bản đồ trang web được tuyên bố trong robots. txt sẽ trả về lỗi.
Không. Chúng tôi lấy robots.txt và bản đồ trang web nó tuyên bố, sau đó đọc một mẫu URL từ mỗi trang. Chúng tôi không truy cập lại mỗi trang, vì vậy thử nghiệm nhanh và không tải máy chủ của bạn.
Có, người thử nghiệm miễn phí mà không cần đăng ký. Truy cập chương trình thông qua một API REST có sẵn trên các kế hoạch quản lý trả phí.
⚙️ Cho các nhà phát triển

Chạy nó trong ống dẫn của anh

Đây là một phần mềm kiểm tra chạy hoàn toàn bên máy chủ - bạn gửi một URL, backend của chúng tôi lấy và phân tích robots.txt và các bản đồ trang web tuyên bố, sau đó tái tạo trang này với kết quả. Xem kế hoạch →