robots.txt һәм сайт картасы тикшерүче
Берәр сайт URLын кертегез. Без аның robots.txt һәм sitemap.xml файлларын сервердан алабыз, сезгә crawl директиваларын һәм игълан ителгән сайт карталарын күрсәтәбез, һәм ике тапкыр эчтәлек түбән төшерүләренә китергән сорау-җөмлә спутник URLларын күрсәтәбез.
Robots.txt һәм sitemap.xml файлларын ничек тикшерергә?
Дүрт адым, теркәлү юк. Барлык тикшерүләр сервер тарафыннан башкарыла.
Сайт URLын урнаштыру
Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.
Сервердан алырга
Robots.txt һәм sitemap.xml файллары белән сезнең сайтка керү өчен, сезнең браузер яки кэш сезгә рөхсәт итми.
Директивалар һәм сайт карталарын укый
Бу уенның төп максаты — уенчылар арасындагы уенны оештыру һәм оештыру, шулай ук уенның нәтиҗәсен билгеләү.
Юк
Бу очракта, криптосистема яки блок-схема, яки блок-схеманың бер өлеше, яки блок-схеманың бер өлеше, яки блок-схеманың бер өлеше дип атала.
Бу тикшерүче нәрсәне тикшерә
Бу ысулны кулланып, бер үк вакытта берничә сайтны берләштереп, бер сайтка берләштереп була.
Сканировка директивалары
Һәрбер кулланучы-агент төркемен һәм аның Рөхсәт итү/Рөхсәт итмәү кагыйдәләрен анализлый, шуңа күрә сез нәрсәне тыелганлыгын төгәл генә күрә аласыз.
Сүзлек
Һәрбер уенның үз тематикасы, үзенчәлекләре, үзенчәлекле уенчылар һәм уенның үзенчәлекләре бар.
Сораулар җөмләсе
Флаглар query-string sitemap URLs, seed near duplicate pages һәм trigger duplicate-content demotions.
Сәламәтлекне алырга
Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.
Кайвакыт бирелә торган сораулар
Аны каналыгызда эшләтегез
This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Планнар →
Программа ярдәмендә куллану
Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.