Arrastoa & indexazioa

robots.txt eta gune-mapa probatzailea

Sartu edozein guneko URLa. Gure zerbitzaritik robots.txt eta sitemap.xml eskuratzen ditugu, arrastre-direktibak eta deklaratutako sitemapak erakusten dizkizugu, eta eduki bikoiztuen degradazioak eragiten dituzten sitemap URLak markatzen ditugu.

Nola robots.txt eta sitemap.xml probatu

Lau urrats, ez da izena eman behar. Egiaztapen osoa zerbitzarian egiten da.

1

Itsatsi gunearen URLa

Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.

2

Gure zerbitzaritik eskuratzen dugu

Gure zerbitzariak robots.txt eta sitemap.xml deklaratu guztiak eskatzen ditu, beraz, proba ez da zure arakatzaileak edo cacheak blokeatzen.

3

Irakurri direktibak eta gune-mapak

Aztertu analizatutako erabiltzaile-agenteen taldeak, debekatu arauak eta deklaratutako sitemapen zerrenda, bakoitzaren URL lagin batekin.

4

Konpondu banderatuta dagoena

Konpon ezazu edozein kontsulta-kate sitemap URL edo blokeatu-baina-indexatu gatazka bilaketa-motor batek bikoiztuak degradatu aurretik.

Probatzaile honek zer egiaztatzen duen

Barnean egiten ditugun segurtasun-kontrolak orrialde bat argitaratu aurretik.

📜

Arrasto-direktibak

Erabiltzaile-agenteen talde bakoitza eta haren Baimendu/Ez baimendu arauak analizatzen ditu, blokeatutakoa zehazki ikusi ahal izateko.

🗺️

Adierazitako gune-mapak

Robots.txt-en erreferentziatutako sitemap guztiak zerrendatzen ditu, bakoitza eskuratzen du eta bere mota eta URL kopurua jakinarazten ditu.

⚠️

Kontsulta-katearen gehiegizko zabaltzea

Kontakizun-katea duten sitemap URLak markatzen ditu, ia bikoiztutako orriak sortzen dituztenak eta eduki bikoiztuen degradazioak eragiten dituztenak.

🔗

Eskuratu osasuna

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.

Maiz egiten diren galderak

Sitemap-eko kontsulta-katearen URL bakar batek ia bikoiztutako milaka orrialde sor ditzake. Bilaketa-motorrek arakatu egiten dituzte, parametro desberdinen eduki bera aurkitzen dute eta kluster osoa jaisten dute eduki bikoiztuagatik. Probatzaile honek hori gertatu aurretik markatzen ditu.
Ez. Robots.txt falta bada edo hutsik badago, arrastrea baimendu egiten da. Arriskua alderantzizkoa da: indexatu nahi dituzun orriak blokeatzen dituen denegazio zabalegia, edo robots.txt-en adierazitako gune-mapa batek errorea itzultzen du.
Ez. Robots.txt fitxategia eta bertan adierazitako gune-mapak eskuratzen ditugu, eta, ondoren, URL-en lagin bat irakurtzen dugu bakoitzatik. Ez dugu orrialde bakoitza errekurtsiboki arakatzen, beraz, proba azkarra da eta ez du zure zerbitzaria kargatuko.
Bai, probatzailea doakoa da, eta ez da inolako izen-ematerik behar. Programa bidezko sarbide-bidea REST API baten bidez dago eskuragarri ordaindutako kudeatutako planetan.
Garatzaileentzat

Exekutatu zure hodian

This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Ikusi planak →

Garatzaileen APIa

Erabili programazioan

Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Eskuratu API gakoa → Deitu bakoitzeko prezioa, neurtua. Goiko tresna interaktiboaren doako maila.
Check every page of your site, not one at a time
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
See how Pro works