robots.txt とサイトマップテスター

Sitemap の一つのクエリ文字列 URL は、何千ものほぼ重複したページを生み出すことができます。検索エンジンはこれらをクロールし、異なるパラメータで同じコンテンツを見つけ、重複したコンテンツのクラスタ全体を降格します。このテスターは、それが起こる前にそれらをフラグします。

いえ、robots.txt が無いか空の場合は、すべてのクローリングを許可します。リスクは逆の方です。広い範囲の拒否がインデックス化したいページをブロックするか、robots.txt に宣言されたサイトマップがエラーを返します。

テストは、robots.txt とその宣言したサイトマップを取得し、それぞれの URL のサンプルを読み込みます。 すべてのページを再帰的にクロールしません。

テスターは登録なしで無料です。REST APIを通じたプログラミングアクセスは有料のマネージドプランで利用できます。