Robots. txt & Sitemap
Chúng tôi lấy robots.txt và sitemap.xml của nó từ máy chủ của chúng tôi, cho bạn thấy các chỉ thị crawl và bản đồ trang web tuyên bố, và đánh dấu các URL sitemap câu hỏi-đường dẫn gây ra sự hạ cấp nội dung sao chép.
Xem thêm robots.txt và sitemap.xml.
Bốn bước, không đăng ký, toàn bộ kiểm tra chạy bên máy chủ.
dán URL trang web
Nhập URL trang chủ của bất kỳ website nào. Bạn không cần đường dẫn đầy đủ đến robots.txt, vì chúng tôi suy ra từ host.
Chúng tôi lấy từ máy chủ của chúng tôi
Máy chủ của chúng tôi yêu cầu robots.txt và mỗi sitemap.xml được tuyên bố, vì vậy bài kiểm tra không bị chặn bởi trình duyệt hoặc cache của riêng bạn.
Đọc các chỉ thị và bản đồ trang
Xem xét các nhóm người dùng-đối tượng phân tích, không cho phép các quy tắc và danh sách các bản đồ trang web tuyên bố, với một URL mẫu từ mỗi.
Sửa những gì đã được đánh dấu
Xử lý bất kỳ URL sitemap câu hỏi-đường hay xung đột bị chặn nhưng được chỉ mục trước khi một công cụ tìm kiếm hạ cấp các bản sao.
Điều mà bộ kiểm tra này kiểm tra
Cũng như những rào chắn mà chúng ta chạy bên trong trước khi xuất bản một trang.
Chỉ thị Crawl
Xác định mỗi nhóm người dùng- đại diện và quy tắc Cho phép / Không cho phép của nó để bạn có thể thấy chính xác những gì bị chặn.
Bản đồ trang đã tuyên bố
Danh sách tất cả các bản đồ trang được tham chiếu trong robots.txt, lấy mỗi, và báo cáo kiểu và số URL của nó.
Bụng chuỗi câu hỏi
Flags query-string sitemap URLs that seed near-duplicate pages and trigger duplicate-content demotions.
Lấy sức khỏe
Bắt các sitemap được khai báo trong robots.txt bị lỗi, chuyển hướng hoặc trả về nội dung không phải XML. Đây là những kẻ giết việc thu thập âm thầm.
Câu hỏi thường gặp
Chạy nó trong ống dẫn của anh
Trình kiểm tra này chạy hoàn toàn phía máy chủ. Bạn gửi một URL, backend của chúng tôi tải và phân tích robots.txt cùng các sitemap được khai báo, rồi hiển thị lại trang này kèm kết quả. REST API lập trình cho CI/CD và kiểm tra hàng loạt có sẵn trên các gói được quản lý trả phí. Xem kế hoạch →
Dùng nó theo chương trình
Mọi công cụ đều có sẵn qua một REST API có xác thực trên các gói Pro và API. Hãy tích hợp vào CI, CMS hoặc bảng điều khiển của bạn.