🤖 Merangkak & indeksasi

penguji lokasi dan robot.txt

Masukkan URL situs manapun. Kami mengambil URL robot.txt dan situs peta.xml dari server kami, menampilkan direktif crawl dan menyatakan situs, dan menandai URL situs quest-string yang menyebabkan demotions duplikasi-content.

Bagaimana menguji robot.txt dan situsmap.xml

Empat langkah, tidak ada pendaftaran, seluruh cek berjalan server-side.

1

Tempel URL situs

Masukkan URL halaman utama situs manapun. Anda tidak perlu jalur lengkap ke robot.txt ▪ kita memperolehnya dari tuan rumah.

2

Kami mengambil dari server kami

Server kami meminta robot.txt dan setiap listationmap.xml yang dinyatakan, sehingga tes tidak diblokir oleh browser Anda atau cache Anda sendiri.

3

Baca direktif dan peta situs

Tinjau kembali kelompok agen pengguna yang diurai, melarang aturan dan daftar peta situs yang telah dideklarasikan, dengan sampel URL dari masing-masing.

4

Perbaiki apa yang ditandai

Resolve setiap URL query-string situsmap atau konflik terbloked-tapi-indexed sebelum mesin pencarian mendemonstrasikan duplikat.

Apa ini pemeriksaan penguji

Penjagaan yang sama yang kami jalankan di dalam sebelum menerbitkan satu halaman.

📜

Crawl direktif

Parses setiap kelompok agen pengguna dan nya Ijinkan / Tidak mematuhi aturan sehingga Anda dapat melihat persis apa yang diblokir.

🗺️

Dinyatakan sebagai peta situs

Daftar setiap peta situs yang direferensikan dalam robot.txt, mengambil masing-masing, dan melaporkan tipe dan jumlah URLnya.

⚠️

Lembungan Query-string

Flag query-string situsmap URL bahwa benih dekat-lipatan halaman dan memicu duplikasi-content demotions.

🔗

Fetch health

Menangkap peta situs yang dinyatakan dalam robot.txt bahwa kesalahan, redirect, atau kembali non-XML ▪ diam merangkak pembunuh.

Sering kali mengajukan pertanyaan

Sebuah URL query-string tunggal dalam sebuah situs yang dapat menyebarkan ribuan halaman hampir-lipatan. Mesin pencari merangkak mereka, menemukan isi yang sama di bawah parameter yang berbeda, dan mendemote seluruh cluster untuk konten duplikat. Ini tandai mereka sebelum itu terjadi.
Tidak. Sebuah robot yang hilang atau kosong.txt hanya memungkinkan semua merangkak. Risiko adalah sebaliknya: sebuah keluar jalur membuang halaman yang Anda inginkan diindeks, atau sebuah situs yang dinyatakan dalam robot.txt yang kembali ke galat.
Tidak, kita mengambil robot, txt dan peta situs yang dinyatakan, lalu membaca contoh URL dari masing-masing. kita tidak merangkak ulang setiap halaman, sehingga tes cepat dan tidak akan memuat server Anda.
Ya, pengujinya bebas tanpa pendaftaran. Akses programmatis melalui API REST tersedia pada rencana yang dikelola dibayar.
⚙️ Untuk pengembang

Jalankan dalam pipa Anda

Pencoba ini berjalan sepenuhnya sisi server Anda mengajukan URL, pengambilan backend kami dan mengurai robot.txt dan peta situs yang dinyatakan, lalu mengirimkan kembali halaman ini dengan hasil. Sebuah RAT API Programmatis untuk CI/CD dan auditing massal tersedia pada rencana yang dikelola. Lihat rencana →