Indeksimi

robots.txt

Fut URL-në e çdo site. Ne marrim robots.txt dhe sitemap.xml nga serveri ynë, të tregojmë direktivat e gërmimit dhe sitemap-ët e deklaruar, dhe të shënojmë URL-të sitemap-it me stringë pyetjeje që shkaktojnë reduktime të përmbajtjes së dyfishtë.

Si të testoni një robots.txt dhe sitemap.xml

Katër hapa, pa regjistrim, e gjithë kontrollimi bëhet në server.

1

Ngjite URL e site-it

Hyni adresën URL të faqes kryesore të çdo faqe interneti. Nuk keni nevojë të përfshini rrugën e plotë për skedën "robots.txt", sepse ne e marrim atë nga adresa e serverit.

2

Do të marrim nga serveri ynë

Serveri ynë kërkon robots.txt dhe çdo sitemap.xml të deklaruar, kështu që testi nuk bllokohet nga shfletuesi juaj apo cache juaj.

3

Lexo direktivat dhe hartat e faqes

Shiko grupët e analizuar të përdoruesit-agjentit, moslejo rregullat dhe listën e deklaruar të sitemap, me një shembull URL nga secili.

4

Korrigjo

Zgjidh çdo URL sitemap me stringë pyetjeje ose konflikte të bllokuara por të indeksuara para se një motor kërkimi të zbresë dyfishimet.

Çfarë kontrollon ky tester

Të njëjtat rrëmbime që përdorim brenda para se të publikojmë një faqe të vetme.

📜

Direktiva e shkarkimit

Analizon çdo grup të përdoruesit-agjentit dhe rregullat e tij të lejimit/moslejimit që të mund të shihni saktësisht se çfarë është bllokuar.

🗺️

Sitemap e deklaruar

Liston çdo sitemap të referuar në robots.txt, merr secilin, dhe raporton llojin e tij dhe numrin e URL-ve.

⚠️

Query-string bloat

Flags query-string sitemap URLs që rrënjët afër-duplikate faqe dhe shkakton duplikate-përmbajtje degradimeve.

🔗

Merr shëndetin

Kapë sitemapat e deklaruara në robots.txt që shfaqin gabime, drejtueshësi (redirect) ose që kthejnë një format që nuk është XML. Këto janë "vrasës" të fshehtë për procesin e skanimit (crawl).

Pyetja e shpeshtë

Një URL e vetme me stringë pyetjeje në një sitemap mund të krijojë mijëra faqe pothuajse të dyfishta. Motorët e kërkimit i gërmojnë ato, gjejnë të njëjtën përmbajtje nën parametra të ndryshëm dhe e zbresin të gjithë grupin për përmbajtje të dyfishtë. Ky tester i shënon ato para se të ndodhë kjo.
Jo. Një robots.txt i munguar ose bosh thjesht lejon të gjithë shkarkimin. Rreziku është i kundërt: një disallow tepër i gjerë që bllokon faqet që dëshironi të indeksohen, ose një sitemap e deklaruar në robots.txt që kthen një gabim.
Jo. Ne marrim robots.txt dhe sitemaps që deklaron, pastaj lexojmë një shembull të URL-ve nga secili. Ne nuk shkojmë çdo faqe në mënyrë rekurente, kështu që testi është i shpejtë dhe nuk do të ngarkojë serverin tuaj.
Po, testimi është i lirë pa regjistrim. Hyrja programatike nëpërmjet një API REST është në dispozicion në planet e menazhuara të paguashme.
Për zhvilluesit

E drejto në tubacionin tënd.

Ky test funksionon plotësisht në server. Ju dërgoni një URL, sistemi ynë merr dhe analizon fajllin "robots.txt" dhe hartat e vendit (sitemaps) të deklaruara, dhe më pas riprodhon këtë faqe me rezultatet. Një API REST programatik për integrimin në sistemet CI/CD dhe për auditime masive është i disponueshëm në planet e pagesë. Shiko plane →

[Translation temporarily unavailable. Please try again.]

[Translation temporarily unavailable. Please try again.]

Çdo mjet është i disponueshëm përmes një API REST të autentikuar në planet "Pro" dhe "API". Integroni këtë API në sistemet tuaja të integrimit të vazhdueshëm (CI), sistemet tuaja të menaxhimit të përmbajtjes (CMS) ose panela të kontrollit.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
[Translation temporarily unavailable. Please try again.]
{ "ok": true, "result": { ... } }
[Translation temporarily unavailable. Please try again.] → [Translation temporarily unavailable. Please try again.]
Kontrollo çdo faqe të faqes tënde, jo një në një
Pro lidh Google Search Console, merr çdo faqe që Google e ka harruar, çdo faqe të prishur dhe çdo faqe që renditet poshtë, dhe shkruan se çfarë duhet të rregullohet në secilën.
Shiko si funksionon Pro