🤖 爬行和指数化
robots.txt & Situtap 测试器
输入任何网站 URL 。 我们从服务器上获取机器人. txt 和站点图. xml, 显示您所看到的爬行指令和所宣布的站点图, 并标出导致重复内容降幅的查询线站点图 URL 。
如何测试机器人. txt 和站点图图. xml
四步,没有注册,整个检查运行服务器
1
粘贴网站 URL
输入任何网站的主页 URL。 您不需要找到机器人的完整路径。 txt—— 我们从主机中获取它 。
2
我们从服务器上获取
我们的服务器要求机器人. txt 和每个申报的站点图图. xml, 这样测试就不会被浏览器或自己的缓存挡住。
3
阅读指令和现场图
审查被分析的用户-代理组、不允许的规则和申报的网址地图清单,并附上每个网址的URL样本。
4
修修标着什么
在搜索引擎将重复内容进行演示之前,解决任何查询线网站图 URL 或被屏蔽但索引化的冲突 。
测试器检查什么
和我们内部的守卫一样 出版一页之前
📜
爬行指令
分析每个用户代理组及其允许/ 解禁规则, 这样您就能看到被屏蔽的准确内容 。
🗺️
申报的现场图
列出在机器人. txt 中引用的每个站点图, 获取每个站点图, 并报告其类型和 URL 数 。
⚠️
查询字符串浮
国旗查询线站点图 URL, 种子接近重复的页面 并触发重复内容降调 。
🔗
获取健康
机器人宣布的捕获点分布图。 txt该错误、 改变方向或返回非XML—— 静默爬行杀手。
经常问到的问题
站点图中的单个查询字符串 URL 能够种子成千上万个近乎重复的页面。 搜索引擎会爬行它们, 在不同参数下找到相同的内容, 并演示整个组群中的内容重复 。 此测试者会在此之前标记它们 。
否。 缺少或空的机器人. txt 只需允许所有爬行即可。 风险正好相反: 不允许过宽, 无法将您想要索引的区块页面, 或者在机器人中宣布站点图, 返回错误 。
不,我们从机器人上取到txt, 以及它所公布的站点图, 然后从每个站点上读取一个 URL 样本。 我们不会在每页上反复爬行, 所以测试速度很快, 不会装载您的服务器 。
测试者免费,没有注册,通过REST API进行程序访问,可在有偿管理计划中获得。
⚙️ 开发者
跑进你的输油管
这个测试器运行完全服务器的侧面, 您可以提供 URL 、 我们的后端抓取和剖析机器人。 txt 和 宣布的站点图, 然后将结果重新发送到此页。 用于 CI/ CD 和 批量审计的 REST API 程序可以在有偿管理计划中找到 。 见计划 →