🤖 & Индексатсия

Санҷиши robots. txt & Sitemap

URL- и сайтро ворид кунед. Мо robots. txt ва sitemap. xml- ро аз сервери худ гирифта, ба шумо дастурҳои ҷустуҷӯ ва харитаҳои сутунро нишон медиҳем ва URL- и харитаҳои сутунро, ки боиси пастшавии мундариҷаи дубора мешаванд, нишон медиҳем.

Чӣ тавр санҷиши robots.txt ва sitemap.xml

Чор қадам, бе қайд. Ҳамаи санҷишҳо дар тарафи сервер иҷро мешаванд.

Гузоштан URL- и сайт

URL- и саҳифаи хонагии ягон пойгоҳро ворид кунед. Ба шумо роҳи пурраи robots. txt лозим нест — мо онро аз соҳиб гирифтаем.

Мо аз сервери худ гирифта истодаем

Сервери мо robots.txt ва ҳар як sitemap.xml-ро талаб мекунад, то ки санҷиш аз ҷониби браузери шумо ё кеши худатон пешгирӣ нашавад.

Хондани дастурҳо ва харитаҳои сайт

Тафтиш кардани гурӯҳҳои агенти корбар, қоидаҳои радкунӣ ва рӯйхати харитаҳои сутунҳо бо URL- и мисол аз ҳар як.

Тағйир додани он чӣ нишон дода шудааст

& Бартараф кардани ҳамаи URL- ҳои харитаҳои сайт ё муноқишаҳои пешгирӣшуда, аммо индексатсияшуда пеш аз он ки ҷустуҷӯи ҷустуҷӯ дубораҳоро паст кунад.

Чӣ тавр ин санҷишгар санҷиш мекунад

Дар ин ҷо мо пеш аз нашри саҳифаи ягонаи худ, ҳамон гардишҳои муҳофизатӣ дорем.

📜

Директиваҳои ҷустуҷӯ

Ҳар як гурӯҳи корбари агент ва қоидаҳои иҷозат/ манъкуниро таҳлил мекунад, то ки шумо аниқ бубинед, ки чӣ маҳдуд аст.

🗺️

Харитаи сайти эълоншуда

Рӯйхати ҳар як харитаҳои сайти дар robots. txt ишорашуда, гирифтани ҳар як ва гузориш додани намуд ва миқдори URL.

⚠️

Сатри пурсиш

Баннерҳои URL-и харитаҳои сайти пурсиш, ки саҳифаҳои дубораро парвариш мекунанд ва барои паст кардани мундариҷаи дубора истифода мешаванд.

🔗

Гирифтани ҳолати система

Дар ин ҷо барои эҷоди файли robots.txt, ки дар он файли robots.txt-ро эҷод кардан мумкин аст, клик кунед.

Саволҳои маъмул

URL- и якчанд сатр дар харита метавонад ҳазорҳо саҳифаҳои дубораро ба вуҷуд орад. Мошинҳои ҷустуҷӯ онҳоро ҷустуҷӯ мекунанд, мундариҷаи якхеларо дар параметрҳои гуногун пайдо мекунанд ва тамоми кластерро барои мундариҷаи дубора паст мекунанд. Ин санҷиш пеш аз он ки ин рӯй диҳад, онҳоро нишон медиҳад.

Не. robots. txt- и гумшуда ё холӣ ба осонӣ ҳамаи ҷустуҷӯро иҷозат медиҳад. Риски муқобил: ғайри қобили қабули васеъ, ки саҳифаҳои шуморо, ки мехоҳед индексатсия кунед, ё харитаҳои сайти дар robots. txt эълоншударо, ки хатогиро бармегардонад, маҳдуд мекунад.

Не. Мы получаем robots.txt и спутниковые карты, которые он объявляет, а затем читаем образец URL из каждого. Мы не репликативно просматриваем каждую страницу, поэтому тест быстр и не загружает ваш сервер.

Да, тестер бесплатный и не требует регистрации. Доступ к программным средствам через REST API доступен в платных управляемых планах.

⚙️ Барои таҳиягарон

Дар канали худ иҷро кунед

Ин озмоишгар пурра аз ҷониби сервер кор мекунад - шумо URL-ро пешниҳод мекунед, пуштибонии мо robots.txt ва харитаҳои сутунҳои эълоншударо мегирад ва таҳлил мекунад, сипас ин саҳифаро бо натиҷаҳо бозсозӣ мекунад. API-и барномавии REST барои CI / CD ва аудити маҷмӯӣ дар нақшаҳои идоракунии пардохтшаванда дастрас аст. Нишон додани нақшаҳо →