🤖 Indeks

robots.txt & Sitemap Tester

Ngetik URL situs apa wae. Kita njupuk robots.txt lan sitemap.xml saka server kita, nuduhake sampeyan crawl directives lan sitemaps dinyatakaké, lan flags query-string sitemap URLs sing nyebabake duplikat-konten degradasi.

Carane mriksa robots.txt lan sitemap.xml

Papat langkah, ora perlu ngajokaké. Seluruh panyedhiyané diwiwiti ing sisih server.

1

Tetep URL situs

Ngetik URL kaca ngarep saka situs apa wae. Sampeyan ora perlu nyathet path lengkap kanggo robots.txt — kita bakal nyathet saka host.

2

Kita nyekel saka server kita

Server kita njaluk robots.txt lan saben sitemap.xml diumumake, supaya tes ora diblokir déning browser utawa cache dhewe.

3

Baca direktiv lan sitemap

Ing basa Inggris, istilah iki bisa digunakaké kanggo nyebutaké wong kang ora bisa maca lan nulis, utawa wong kang ora bisa maca lan nulis.

4

Ngendhalekake apa kang ditanda

Ing basa Inggris, istilah "default" utawa "standard" digunakaké kanggo nyebutaké basa kang ora digunakaké ing sistem komputer.

Apa kang dites dening tester iki

Ing jaman saiki, basa iki isih akèh digunakaké ing papan-papan publik.

📜

Direktip Crawl

Parse saben user-agent group lan aturan Allow / Disallow supaya sampeyan bisa ndeleng persis apa sing diblokir.

🗺️

Sitemap

Ing basa Inggris, tembung "robot" iku tegesé robot, lan "robot" iku tembung kang digunakaké kanggo nyebut robot.

⚠️

Query-string bloat

Ing basa Indonésia, tembung-tembung iki digunakaké kanggo nyebut tembung-tembung kang duwé makna kang padha.

🔗

Njupuk kesehatan

Ing basa Inggris, istilah iki bisa dijupuk saka tembung "reverse", "reversed".

Takon kang asring diajukake

URL tunggal query-string ing sitemap bisa nyedhot ewu kaca kang cedhak-duplikat. Mesin pencari bisa ngresiki, nemokaken isi kang padha ing ngisor parameter kang beda, lan ngurangi kabèh cluster kanggo isi duplikat. Tes iki bakal nyathet iku sadurunge kedadeyan.
Ora. Robots.txt kang ilang utawa kosong mung ngidini kabeh crawling. Resiko iku sebaliké: ora bisa diijini sing luwih gedhe sing mbatesi kaca sing sampeyan pengin indeks, utawa sitemap sing dideklarasikake ing robots.txt sing bali kesalahan.
Ora. Kita nyekel robots.txt lan sitemaps kang dideklarasikaké, banjur maca conto URL saka saben. Kita ora rekursif crawl saben kaca, mula tes iku cepet lan ora bakal ngunduh server sampeyan.
Ya, tester punika gratis tanpa registrasi. Programmatic akses liwat REST API punika sayogi ing rencana managed bayar.
⚙️ Kanggo pangrembakan

Laksana ing pipamu

Tester iki dioperasikaké kanthi lengkap ing sisih server - sampeyan ngirim URL, backend kita njupuk lan parse robots.txt lan sitemaps sing dinyatakaké, banjur ngasilake kaca iki kanthi asil. Program REST API kanggo CI / CD lan audit bulk kasedhiya ing rencana sing dikelola kanthi dibayar. Plancongan →