Merangkak & indeksasi

penguji lokasi dan robot.txt

Masukkan URL situs manapun. Kami mengambil URL robot.txt dan situs peta.xml dari server kami, menampilkan direktif crawl dan menyatakan situs, dan menandai URL situs quest-string yang menyebabkan demotions duplikasi-content.

Bagaimana menguji robot.txt dan situsmap.xml

Empat langkah, tidak ada pendaftaran, seluruh cek berjalan server-side.

1

Tempel URL situs

Masukkan URL beranda situs mana pun. Anda tidak perlu path lengkap ke robots.txt, karena kami menurunkannya dari host.

2

Kami mengambil dari server kami

Server kami meminta robot.txt dan setiap listationmap.xml yang dinyatakan, sehingga tes tidak diblokir oleh browser Anda atau cache Anda sendiri.

3

Baca direktif dan peta situs

Tinjau kembali kelompok agen pengguna yang diurai, melarang aturan dan daftar peta situs yang telah dideklarasikan, dengan sampel URL dari masing-masing.

4

Perbaiki apa yang ditandai

Resolve setiap URL query-string situsmap atau konflik terbloked-tapi-indexed sebelum mesin pencarian mendemonstrasikan duplikat.

Apa ini pemeriksaan penguji

Penjagaan yang sama yang kami jalankan di dalam sebelum menerbitkan satu halaman.

📜

Crawl direktif

Parses setiap kelompok agen pengguna dan nya Ijinkan / Tidak mematuhi aturan sehingga Anda dapat melihat persis apa yang diblokir.

🗺️

Dinyatakan sebagai peta situs

Daftar setiap peta situs yang direferensikan dalam robot.txt, mengambil masing-masing, dan melaporkan tipe dan jumlah URLnya.

⚠️

Lembungan Query-string

Flag query-string situsmap URL bahwa benih dekat-lipatan halaman dan memicu duplikasi-content demotions.

🔗

Fetch health

Menangkap sitemap yang dideklarasikan di robots.txt yang galat, melakukan redirect, atau mengembalikan non-XML. Ini adalah pembunuh perayapan yang diam-diam.

Sering kali mengajukan pertanyaan

Sebuah URL query-string tunggal dalam sebuah situs yang dapat menyebarkan ribuan halaman hampir-lipatan. Mesin pencari merangkak mereka, menemukan isi yang sama di bawah parameter yang berbeda, dan mendemote seluruh cluster untuk konten duplikat. Ini tandai mereka sebelum itu terjadi.
Tidak. Sebuah robot yang hilang atau kosong.txt hanya memungkinkan semua merangkak. Risiko adalah sebaliknya: sebuah keluar jalur membuang halaman yang Anda inginkan diindeks, atau sebuah situs yang dinyatakan dalam robot.txt yang kembali ke galat.
Tidak, kita mengambil robot, txt dan peta situs yang dinyatakan, lalu membaca contoh URL dari masing-masing. kita tidak merangkak ulang setiap halaman, sehingga tes cepat dan tidak akan memuat server Anda.
Ya, pengujinya bebas tanpa pendaftaran. Akses programmatis melalui API REST tersedia pada rencana yang dikelola dibayar.
Untuk pengembang

Jalankan dalam pipa Anda

Penguji ini berjalan sepenuhnya di sisi server. Anda mengirim URL, backend kami mengambil dan mem-parsing robots.txt dan sitemap yang dideklarasikan, lalu merender ulang halaman ini dengan hasilnya. REST API terprogram untuk CI/CD dan audit massal tersedia pada paket terkelola berbayar. Lihat rencana →

API Pengembang

Gunakan secara programmatis

Setiap alat tersedia melalui satu REST API terautentikasi pada paket Pro dan API. Sambungkan ke CI, CMS, atau dasbor Anda.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Ambil kunci API → Tingkatkan ukuran, per-panggilan tingkat bebas untuk alat interaktif di atas.
Periksa setiap halaman situs Anda, bukan satu per satu
Pro menghubungkan Google Search Console, mengambil setiap halaman yang dilewati Google, setiap halaman rusak, dan setiap halaman berperingkat rendah, lalu menulis apa yang perlu diperbaiki di masing-masing.
Lihat cara kerja Pro