penguji lokasi dan robot.txt
Masukkan URL situs manapun. Kami mengambil URL robot.txt dan situs peta.xml dari server kami, menampilkan direktif crawl dan menyatakan situs, dan menandai URL situs quest-string yang menyebabkan demotions duplikasi-content.
Bagaimana menguji robot.txt dan situsmap.xml
Empat langkah, tidak ada pendaftaran, seluruh cek berjalan server-side.
Tempel URL situs
Masukkan URL beranda situs mana pun. Anda tidak perlu path lengkap ke robots.txt, karena kami menurunkannya dari host.
Kami mengambil dari server kami
Server kami meminta robot.txt dan setiap listationmap.xml yang dinyatakan, sehingga tes tidak diblokir oleh browser Anda atau cache Anda sendiri.
Baca direktif dan peta situs
Tinjau kembali kelompok agen pengguna yang diurai, melarang aturan dan daftar peta situs yang telah dideklarasikan, dengan sampel URL dari masing-masing.
Perbaiki apa yang ditandai
Resolve setiap URL query-string situsmap atau konflik terbloked-tapi-indexed sebelum mesin pencarian mendemonstrasikan duplikat.
Apa ini pemeriksaan penguji
Penjagaan yang sama yang kami jalankan di dalam sebelum menerbitkan satu halaman.
Crawl direktif
Parses setiap kelompok agen pengguna dan nya Ijinkan / Tidak mematuhi aturan sehingga Anda dapat melihat persis apa yang diblokir.
Dinyatakan sebagai peta situs
Daftar setiap peta situs yang direferensikan dalam robot.txt, mengambil masing-masing, dan melaporkan tipe dan jumlah URLnya.
Lembungan Query-string
Flag query-string situsmap URL bahwa benih dekat-lipatan halaman dan memicu duplikasi-content demotions.
Fetch health
Menangkap sitemap yang dideklarasikan di robots.txt yang galat, melakukan redirect, atau mengembalikan non-XML. Ini adalah pembunuh perayapan yang diam-diam.
Sering kali mengajukan pertanyaan
Jalankan dalam pipa Anda
Penguji ini berjalan sepenuhnya di sisi server. Anda mengirim URL, backend kami mengambil dan mem-parsing robots.txt dan sitemap yang dideklarasikan, lalu merender ulang halaman ini dengan hasilnya. REST API terprogram untuk CI/CD dan audit massal tersedia pada paket terkelola berbayar. Lihat rencana →
Gunakan secara programmatis
Setiap alat tersedia melalui satu REST API terautentikasi pada paket Pro dan API. Sambungkan ke CI, CMS, atau dasbor Anda.