🤖 Индекслау

robots.txt һәм сайт картасы тикшерүче

Берәр сайт URLын кертегез. Без аның robots.txt һәм sitemap.xml файлларын сервердан алабыз, сезгә crawl директиваларын һәм игълан ителгән сайт карталарын күрсәтәбез, һәм ике тапкыр эчтәлек түбән төшерүләренә китергән сорау-җөмлә спутник URLларын күрсәтәбез.

Robots.txt һәм sitemap.xml файлларын ничек тикшерергә?

Дүрт адым, теркәлү юк. Барлык тикшерүләр сервер тарафыннан башкарыла.

Сайт URLын урнаштыру

Берәр сайтның төп битенең URL адресын кертегез. robots.txt файлының тулы юлын күрсәтү кирәкми — без аны хосттан алабыз.

Сервердан алырга

Robots.txt һәм sitemap.xml файллары белән сезнең сайтка керү өчен, сезнең браузер яки кэш сезгә рөхсәт итми.

Директивалар һәм сайт карталарын укый

Бу уенның төп максаты — уенчылар арасындагы уенны оештыру һәм оештыру, шулай ук уенның нәтиҗәсен билгеләү.

Юк

Resolve any query-string sitemap URLs or blocked-but-indexed conflicts before a search engine demotes the duplicates.

Бу тикшерүче нәрсәне тикшерә

Бу ысулны кулланып, бер үк вакытта берничә сайтны берләштереп, бер сайтка берләштереп була.

📜

Сканировка директивалары

Һәрбер кулланучы-агент төркемен һәм аның Рөхсәт итү/Рөхсәт итмәү кагыйдәләрен анализлый, шуңа күрә сез нәрсәне тыелганлыгын төгәл генә күрә аласыз.

🗺️

Сүзлек

Һәрбер уенның үз тематикасы, үзенчәлекләре, үзенчәлекле уенчылар һәм уенның үзенчәлекләре бар.

⚠️

Сораулар җөмләсе

Флаглар query-string sitemap URLs, seed near duplicate pages һәм trigger duplicate-content demotions.

🔗

Сәламәтлекне алырга

Robots.txt файлында күрсәтелгән хата, кире юнәлтү яки XML-га туры килмәгән мәгълүматны кире кайтару — «сөйсез» crawl killers.

Кайвакыт бирелә торган сораулар

Слайд-шоуның бер генә сорау-җөмлә URLы сайт картасында меңләгән тигез булмаган битләр китереп чыгарырга мөмкин. Сүзлек эзләү машиналары аларны тикшерә, төрле параметрлар белән бер үк эчтәлекне таба, һәм тигез булмаган эчтәлек өчен бөтен кластерны төшерә. Бу тикшерүче аларны бу хәл килеп чыгудан элек күрсәтә.

Юк. robots.txt файлы юк яки бушаган очракта, ул бары тик барлыгы да эзләүне рөхсәт итә. Риск киресенчә: индексацияләнергә теләгән битләрне блоклаган артык киң disable яки robots.txt файлында күрсәтелгән сайт картасы хатаны кире кайтара.

Юк. Без robots.txt һәм анда күрсәтелгән сайт карталарын алабыз, аннары һәрберсеннән URL үрнәкләрен укыйбыз. Без һәрбер битне рекурсив рәвештә эзлибез, шуңа күрә тикшерү тиз һәм серверыгызны йөкләми.

Әйе, тестер теркәлмичә бушлай. REST API аша программалау кереме түләүле идарә ителгән планнарда бар.

⚙️ Программистлар өчен

Аны каналыгызда эшләтегез

Бу тестер тулысынча сервер ягында эшли - сез URL җибәрәсез, безнең backend ала һәм анализлый robots.txt һәм игълан ителгән сайт карталары, аннары бу битне нәтиҗәләр белән яңадан күрсәтә. CI / CD һәм массалы аудит өчен программалык REST API түләүле идарә ителгән планнарда бар. Планнар →