爬行和指数化
robots.txt & Situtap 测试器
输入任何网站 URL 。 我们从服务器上获取机器人. txt 和站点图. xml, 显示您所看到的爬行指令和所宣布的站点图, 并标出导致重复内容降幅的查询线站点图 URL 。
如何测试机器人. txt 和站点图图. xml
四步,没有注册,整个检查运行服务器
1
粘贴网站 URL
输入任意网站的首页 URL。您不需要提供 robots.txt 的完整路径,因为我们会根据主机自动推导。
2
我们从服务器上获取
我们的服务器要求机器人. txt 和每个申报的站点图图. xml, 这样测试就不会被浏览器或自己的缓存挡住。
3
阅读指令和现场图
审查被分析的用户-代理组、不允许的规则和申报的网址地图清单,并附上每个网址的URL样本。
4
修修标着什么
在搜索引擎将重复内容进行演示之前,解决任何查询线网站图 URL 或被屏蔽但索引化的冲突 。
测试器检查什么
和我们内部的守卫一样 出版一页之前
📜
爬行指令
分析每个用户代理组及其允许/ 解禁规则, 这样您就能看到被屏蔽的准确内容 。
🗺️
申报的现场图
列出在机器人. txt 中引用的每个站点图, 获取每个站点图, 并报告其类型和 URL 数 。
⚠️
查询字符串浮
国旗查询线站点图 URL, 种子接近重复的页面 并触发重复内容降调 。
🔗
获取健康
找出在 robots.txt 中声明、但出错、被重定向或返回非 XML 的 sitemap。这些是悄无声息的抓取杀手。
经常问到的问题
站点图中的单个查询字符串 URL 能够种子成千上万个近乎重复的页面。 搜索引擎会爬行它们, 在不同参数下找到相同的内容, 并演示整个组群中的内容重复 。 此测试者会在此之前标记它们 。
否。 缺少或空的机器人. txt 只需允许所有爬行即可。 风险正好相反: 不允许过宽, 无法将您想要索引的区块页面, 或者在机器人中宣布站点图, 返回错误 。
不,我们从机器人上取到txt, 以及它所公布的站点图, 然后从每个站点上读取一个 URL 样本。 我们不会在每页上反复爬行, 所以测试速度很快, 不会装载您的服务器 。
测试者免费,没有注册,通过REST API进行程序访问,可在有偿管理计划中获得。
开发者
跑进你的输油管
此测试器完全在服务器端运行。您提交一个 URL,我们的后端获取并解析 robots.txt 和其中声明的 sitemap,然后用结果重新渲染此页面。付费托管套餐提供用于 CI/CD 和批量审计的程序化 REST API。 见计划 →
开发者 API
方案用
Pro 和 API 套餐可通过同一个经过认证的 REST API 使用所有工具。把它接入您的 CI、CMS 或仪表板即可。
获得 API 密钥 →
计量、每通电话定价。 上面交互式工具的免费级。
检查网站的每一个页面,而不是逐个检查
了解 Pro 如何运作
Pro 连接 Google Search Console,抓取 Google 跳过的每个页面、每个损坏的页面和每个排名靠后的页面,并为每个页面写出修复方法。