🤖 Arrastoa & indexazioa

robots.txt eta gune-mapa probatzailea

Sartu edozein guneko URLa. Gure zerbitzaritik robots.txt eta sitemap.xml eskuratzen ditugu, arrastre-direktibak eta deklaratutako sitemapak erakusten dizkizugu, eta eduki bikoiztuen degradazioak eragiten dituzten sitemap URLak markatzen ditugu.

Nola robots.txt eta sitemap.xml probatu

Lau urrats, ez da izena eman behar. Egiaztapen osoa zerbitzarian egiten da.

Itsatsi gunearen URLa

Sartu edozein guneren etxeko orriaren URLa. Ez duzu robots.txt-en bide-izena behar, ostalaritik lortzen dugu.

Gure zerbitzaritik eskuratzen dugu

Gure zerbitzariak robots.txt eta sitemap.xml deklaratu guztiak eskatzen ditu, beraz, proba ez da zure arakatzaileak edo cacheak blokeatzen.

Irakurri direktibak eta gune-mapak

Aztertu analizatutako erabiltzaile-agenteen taldeak, debekatu arauak eta deklaratutako sitemapen zerrenda, bakoitzaren URL lagin batekin.

Konpondu banderatuta dagoena

Konpon ezazu edozein kontsulta-kate sitemap URL edo blokeatu-baina-indexatu gatazka bilaketa-motor batek bikoiztuak degradatu aurretik.

Probatzaile honek zer egiaztatzen duen

Barnean egiten ditugun segurtasun-kontrolak orrialde bat argitaratu aurretik.

📜

Arrasto-direktibak

Erabiltzaile-agenteen talde bakoitza eta haren Baimendu/Ez baimendu arauak analizatzen ditu, blokeatutakoa zehazki ikusi ahal izateko.

🗺️

Adierazitako gune-mapak

Robots.txt-en erreferentziatutako sitemap guztiak zerrendatzen ditu, bakoitza eskuratzen du eta bere mota eta URL kopurua jakinarazten ditu.

⚠️

Kontsulta-katearen gehiegizko zabaltzea

Kontakizun-katea duten sitemap URLak markatzen ditu, ia bikoiztutako orriak sortzen dituztenak eta eduki bikoiztuen degradazioak eragiten dituztenak.

🔗

Eskuratu osasuna

Robots.txt fitxategian adierazitako sitemap-ak harrapatzen ditu, erroreak, birbideraketak edo XML ez direnak itzultzen dituztenak.

Maiz egiten diren galderak

Sitemap-eko kontsulta-katearen URL bakar batek ia bikoiztutako milaka orrialde sor ditzake. Bilaketa-motorrek arakatu egiten dituzte, parametro desberdinen eduki bera aurkitzen dute eta kluster osoa jaisten dute eduki bikoiztuagatik. Probatzaile honek hori gertatu aurretik markatzen ditu.

Ez. Robots.txt falta bada edo hutsik badago, arrastrea baimendu egiten da. Arriskua alderantzizkoa da: indexatu nahi dituzun orriak blokeatzen dituen denegazio zabalegia, edo robots.txt-en adierazitako gune-mapa batek errorea itzultzen du.

Ez. Robots.txt fitxategia eta bertan adierazitako gune-mapak eskuratzen ditugu, eta, ondoren, URL-en lagin bat irakurtzen dugu bakoitzatik. Ez dugu orrialde bakoitza errekurtsiboki arakatzen, beraz, proba azkarra da eta ez du zure zerbitzaria kargatuko.

Bai, probatzailea doakoa da, eta ez da inolako izen-ematerik behar. Programa bidezko sarbide-bidea REST API baten bidez dago eskuragarri ordaindutako kudeatutako planetan.

⚙️ Garatzaileentzat

Exekutatu zure hodian

Probatzaile hau zerbitzari-aldetik exekutatzen da erabat: URL bat bidaltzen duzu, gure backend-ak robots.txt eta deklaratutako sitemap-ak eskuratu eta analizatzen ditu, eta, ondoren, orri hau berriro errendatzen du emaitzekin. CI/CD eta multzo-ikuskaritzarako REST API programatiko bat dago eskuragarri kudeatutako ordaindutako planetan. Ikusi planak →