🤖 Indeks

Pemeriksa robots. txt & Peta Laman

Masukkan URL mana-mana laman. Kami akan ambil robots.txt dan sitemap.xml dari pelayan kami, tunjukkan anda arahan carian dan sitemap yang dinyatakan, dan bendera URL sitemap rentetan-pertanyaan yang menyebabkan pengurangan kandungan duplikat.

Bagaimana untuk menguji robots.txt dan sitemap.xml

Empat langkah, tiada pendaftaran.

Tepek URL laman

Masukkan URL halaman utama mana-mana laman. Anda tidak perlukan laluan penuh ke robots.txt — kami dapat ia dari hos.

Kami ambil dari pelayan kami

Pelayan kami meminta robots.txt dan setiap sitemap.xml yang dinyatakan, jadi ujian tidak dihalang oleh pelayar anda atau cache anda sendiri.

Baca arahan dan sitemap

Lihat kumpulan ejen pengguna dihuraikan, tidak membenarkan peraturan dan senarai sitemap diisytiharkan, dengan contoh URL dari setiap.

Baiki apa yang ditandakan

Selesai sebarang URL sitemap rentetan-pertanyaan atau konflik terhalang-tetapi-diindeks sebelum enjin carian menurunkan duplikat.

Apa yang penguji ini periksa

Garisan perlindungan yang sama yang kita jalankan secara dalaman sebelum menerbitkan satu halaman.

📜

Perintah Crawl

Menghurai setiap kumpulan ejen pengguna dan peraturan Benarkan / Tolak Benarkan supaya anda boleh lihat apa yang dihalang.

🗺️

Peta tapak dinyatakan

Senarai setiap peta tapak yang dirujuk dalam robots.txt, ambil setiap satu, dan laporkan jenis dan kiraan URL.

⚠️

Penyulitan

Bendera URL peta tapak rentetan-pertanyaan yang menanam halaman hampir-duplikat dan memicu pengurangan kandungan duplikat.

🔗

Dapatkan kesihatan

Tangkap peta tapak yang diisytiharkan dalam robots.txt yang ralat, dialihkan, atau kembali bukan-XML — pembunuh carian senyap.

Pertanyaan yang kerap ditanya

URL rentetan pertanyaan tunggal dalam peta tapak boleh menanam ribuan halaman hampir-duplikat. Enjin carian menjelajah mereka, mencari kandungan yang sama di bawah parameter yang berbeza, dan menurunkan keseluruhan kumpulan untuk kandungan duplikat. Pemeriksa ini menandai mereka sebelum itu berlaku.

Tidak. Robots.txt yang hilang atau kosong hanya membenarkan semua pengimbasan. Risikonya adalah sebaliknya: tidak membenarkan yang terlalu luas yang menghalang halaman yang anda mahu indeks, atau sitemap yang dinyatakan dalam robots.txt yang mengembalikan ralat.

Tidak. Kami dapatkan robots.txt dan sitemap yang dinyatakan, kemudian baca sampel URL dari setiap satu. Kami tidak menjejaki setiap halaman secara rekursif, jadi ujian ini pantas dan tidak akan memuatkan pelayan anda.

Ya, penguji adalah percuma tanpa mendaftar. Akses program melalui API REST tersedia pada rancangan dikendalikan berbayar.

⚙️ Untuk pemaju

Jalankan dalam paip anda

Pemeriksa ini berjalan sepenuhnya di sisi pelayan — anda hantar URL, backend kami dapatkan dan huraikan robots.txt dan sitemap yang dinyatakan, kemudian render semula halaman ini dengan hasil. API REST program untuk CI/CD dan auditing bulk tersedia pada rancangan terurus berbayar. Lihat rancangan →