🤖 Индекслаш

robots.txt ва сайт харитаси синовчиси

Сайт URL манзилини киритинг. Биз серверимиздан унинг robots.txt ва sitemap.xml файлларини оламиз, сизга crawl директиваларини ва эълон қилинган сайт хариталарини кўрсатамиз, ва дубликат-мазмунни пасайтирувчи савол-жанг URL сайт хариталарини белгилаймиз.

Robots.txt ва sitemap.xml'ни қандай синаш мумкин

Чотирта қадам, рўйхатдан ўтиш йўқ. Барча текширув сервер томонида амалга оширилади.

Сайт URL'ини жойлаштириш

Сайтнинг бош саҳифаси URL-манзилини киритинг. robots.txt файлига тўлиқ йўл керак эмас — биз уни хостдан оламиз.

Сервердан олдик

Серверимиз robots.txt файлини ва ҳар бир эълон қилинган sitemap.xml файлини талаб қилади, шунинг учун тест браузерингиз ёки ўзингизнинг кэши томонидан блокланмайди.

Директивалар ва сайт хариталарини ўқиш

Таҳлил қилинган фойдаланувчи агент гуруҳларини кўриб чиқинг, рухсат берилмаган қоидаларни ва сайт хариталари рўйхатини эълон қилинг, ҳар биридан URL намунаси билан.

Нима белгиланганини тузатиш

Қизиқиш-сўзлар сайт харитаси URL'ларини ёки блокланган-лекин-индексланган зиддиятларни қидирув мотори дубликатларни пасайтиришдан олдин ҳал қилиш.

Бу синовчи нимани текширади

Биз бирор саҳифани чоп этишдан олдин ҳам шу каби назоратни ўтказамиз.

📜

Скриптлар

Ҳар бир фойдаланувчи агент гуруҳи ва унинг рухсат бериш/рўйхатдан ўтказиш қоидаларини таҳлил қилади, шунинг учун нима блокланганини аниқ кўришингиз мумкин.

🗺️

эълон қилинган сайт хариталари

Robots.txt файлида кўрсатилган барча сайт хариталарини рўйхатга олади, ҳар бирини олиб, унинг турини ва URL сони ҳақида хабар беради.

⚠️

Савол-жадвалнинг кўпайиши

Қўлланма-сўзлар сайт харитаси URL-лари, яъни, яқиндагина нусха кўчирилган саҳифалар ва нусха кўчирилган мазмунни пасайтиришни ишга туширувчи URL-лар учун флаглар.

🔗

Соғлиқни олиш

Robots.txt файлида эълон қилинган сайт хариталарини хато, қайта йўналтириш ёки XML бўлмаган - жимгина қидирув ўлдирувчисини қайтариш учун ушлайди.

Доимий сўраладиган саволлар

Сайт харитасидаги биргина сўров-сўзли URL минглаб такрорланган саҳифаларни пайдо қилиши мумкин. Қидирув моторлари уларни қидириб, турли параметрлар остида бир хил мазмунни топади ва такрорланган мазмун учун бутун кластерни пасайтиради. Бу синовчи уларни бу содир бўлишидан олдин флаглайди.

Йўқ. Ёки йўқ ёки бўш robots.txt файли фақатгина барча қидирувларга рухсат беради. Риск эса аксинча: жуда кенг disable сиз индекслашни хоҳлаган саҳифаларни блоклайди ёки robots.txt файлида эълон қилинган сайт харитаси хато қайтаради.

Йўқ. Биз robots.txt файлини ва унда эълон қилинган сайт харитасини олиб, кейин ҳар биридан URL намунасини ўқиймиз. Биз ҳар бир саҳифани қайта-қайта қидирмаймиз, шунинг учун синов тез ва серверингизни юкламас.

Ҳа, тестер рўйхатдан ўтишсиз бепул. REST API орқали дастурий кириш пулли бошқариладиган режаларда мавжуд.

⚙️ Ижодкорлар учун

Уни ўзингизнинг қувурингизда ишга туширинг

Бу синовчи тўлиқ сервер томонида ишлайди - сиз URL'ни тақдим этасиз, бизнинг backend robots.txt ва эълон қилинган сайт хариталарини олиб ва таҳлил қилади, сўнгра бу саҳифани натижалар билан қайта кўрсатади. CI/CD ва йирик аудит учун дастурий REST API тўловли бошқариладиган режаларда мавжуд. Планларни кўриш →