🤖 Crawl & indeksasi

robots.txt & Sitemap Tester

Ngetik URL situs mana wae. Kami nyandak robots.txt sareng sitemap.xml ti server kami, nunjukkeun anjeun kaputusan crawl sareng sitemap anu dinyatakeun, sareng ngabéjaan URL sitemap string query anu nyababkeun demotions konten duplikat.

Carane nyoba robots.txt lan sitemap.xml

Papat léngkah, tanpa ngadaptar. Saben pariksaan dilaksanakeun dina sisi panyedhiya.

_Petik URL situs

Ngetik URL kaca ngarep situs mana wae. Anjeun teu butuh jalan pinuh ka robots.txt — urang ngabédakeunana ti host.

Kita njupuk saka server kita

Server urang requests robots.txt sarta unggal sitemap.xml dinyatakeun, jadi tes teu diblokir ku browser anjeun atawa cache sorangan.

Waca pedoman lan sitemaps

Ngawaca grup user-agent anu dianalisis, henteu ngamungkinkeun aturan sareng daftar sitemap anu dinyatakeun, sareng conto URL ti masing-masing.

Nyahpasang apa sing ditanda

Ngalereskeun URL sitemap string query atanapi konflik anu diblokir-tapi diindeks sateuacan mesin pencari ngaleupaskeun duplikat.

Apa sing dites dening tester iki

Sacara umum, panulis bisa nulis dina basa anu béda-béda.

📜

Instruksi Crawl

Ngawaskeun unggal grup user-agent sarta aturanna Allow / Disallow supados anjeun tiasa ningali persis naon anu diblokir.

🗺️

Sitemaps dinyatakake

Robots.txt minangka file sing ngandung informasi babagan cara robots.txt digunakaké kanggo ngakses situs web.

⚠️

Текстовая запись

Digunakeun pikeun ngagambarkeun URL anu dipikabutuh pikeun ngajalankeun halaman wéb anu dipikabutuh.

🔗

Njupuk kesehatan

Robots.txt bisa dipaké pikeun ngalacak situs-situs anu dituduhkeun salah, dialihkeun, utawa dipulangkeun non-XML.

Takon-takon kang kerep diajukake

Sahiji URL string panalungtikan dina peta situs bisa ngahasilkeun ratusan halaman anu mirip. Mesin pencari bisa ngacrawl éta halaman, manggihan isi anu sami dina parameter anu béda, sarta ngurangan sadaya cluster pikeun isi anu sarua. Pameriksa ieu bakal ngabélakeunana saméméh éta kajadian.

Teu. A robots.txt kaleungitan atawa kosong ngan ngamungkinkeun sadaya crawling. Resikona sabalikna: a over-wide disallow anu ngablokir halaman anu anjeun hoyong indeks, atanapi sitemap anu dinyatakeun dina robots.txt anu ngabalikeun kasalahan.

No. Kami meunang robots.txt jeung sitemaps éta nganyatakeun, teras maca conto URL ti unggal. Kami teu recursively crawl unggal halaman, jadi tes gancang sarta moal ngamuat server anjeun.

Ya, tester ieu bébas tanpa ngadaptar. Programmatic akses ngaliwatan REST API aya dina rencana managed mayar.

⚙️ Kanggo pangembangan

Ngjalanake ing pipa sampeyan

Tester ieu dijalankeun sacara lengkep server-side - anjeun ngirim URL, backend urang fetch jeung parses robots.txt sarta sitemaps dinyatakeun, teras re-renders kaca ieu kalawan hasil. A programmatic REST API pikeun CI / CD jeung auditing bulk aya dina rencana managed mayar. Lihat rencana →