Indeks

robots.txt & Sitemap Tester

Ngetik URL situs apa wae. Kita njupuk robots.txt lan sitemap.xml saka server kita, nuduhake sampeyan crawl directives lan sitemaps dinyatakaké, lan flags query-string sitemap URLs sing nyebabake duplikat-konten degradasi.

Carane mriksa robots.txt lan sitemap.xml

Papat langkah, ora perlu ngajokaké. Seluruh panyedhiyané diwiwiti ing sisih server.

1

Tetep URL situs

Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.

2

Kita nyekel saka server kita

Server kita njaluk robots.txt lan saben sitemap.xml diumumake, supaya tes ora diblokir déning browser utawa cache dhewe.

3

Baca direktiv lan sitemap

Ing basa Inggris, istilah iki bisa digunakaké kanggo nyebutaké wong kang ora bisa maca lan nulis, utawa wong kang ora bisa maca lan nulis.

4

Ngendhalekake apa kang ditanda

Ing basa Inggris, istilah "default" utawa "standard" digunakaké kanggo nyebutaké basa kang ora digunakaké ing sistem komputer.

Apa kang dites dening tester iki

Ing jaman saiki, basa iki isih akèh digunakaké ing papan-papan publik.

📜

Direktip Crawl

Parse saben user-agent group lan aturan Allow / Disallow supaya sampeyan bisa ndeleng persis apa sing diblokir.

🗺️

Sitemap

Ing basa Inggris, tembung "robot" iku tegesé robot, lan "robot" iku tembung kang digunakaké kanggo nyebut robot.

⚠️

Query-string bloat

Ing basa Indonésia, tembung-tembung iki digunakaké kanggo nyebut tembung-tembung kang duwé makna kang padha.

🔗

Njupuk kesehatan

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.

Takon kang asring diajukake

URL tunggal query-string ing sitemap bisa nyedhot ewu kaca kang cedhak-duplikat. Mesin pencari bisa ngresiki, nemokaken isi kang padha ing ngisor parameter kang beda, lan ngurangi kabèh cluster kanggo isi duplikat. Tes iki bakal nyathet iku sadurunge kedadeyan.
Ora. Robots.txt kang ilang utawa kosong mung ngidini kabeh crawling. Resiko iku sebaliké: ora bisa diijini sing luwih gedhe sing mbatesi kaca sing sampeyan pengin indeks, utawa sitemap sing dideklarasikake ing robots.txt sing bali kesalahan.
Ora. Kita nyekel robots.txt lan sitemaps kang dideklarasikaké, banjur maca conto URL saka saben. Kita ora rekursif crawl saben kaca, mula tes iku cepet lan ora bakal ngunduh server sampeyan.
Ya, tester punika gratis tanpa registrasi. Programmatic akses liwat REST API punika sayogi ing rencana managed bayar.
Kanggo pangrembakan

Laksana ing pipamu

This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Plancongan →

Pangembang

Nggunakaké kanthi program

Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Njupuk kunci API → Metered, per-call pricing. Free tier for the interactive tool above.
Check every page of your site, not one at a time
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
See how Pro works