robots.txt とサイトマップテスター
サーバから robots.txt と sitemap.xml を取得し、クラウド検索指令と宣言されたサイトマップを表示し、複製コンテンツの降格を引き起こすクエリ文字列サイトマップ URL をフラグします。
robots.txt と sitemap.xml のテスト
4段階で登録なし 全てのチェックはサーバ側で行われる
サイト URL を貼り付け
任意のサイトのトップページ URL を入力してください。robots.txt への完全なパスは不要です。ホストから導き出します。
サーバから取得します
サーバは robots.txt とすべての宣言された sitemap.xml を要求します。 テストは、あなたのブラウザやキャッシュによってブロックされません。
指令とサイトマップを読む
解析されたユーザエージェントグループ、禁止ルール、宣言されたサイトマップのリストを、それぞれのURLサンプルと共に検証します。
フラグを修正
検索エンジンが重複をダウングレードする前に、クエリ文字列サイトマップURLやブロックされたがインデックス化された衝突を解決する。
このテスターがチェックするもの
1ページも出版する前に 内部で同じガードレールを 走らせる
クロール指令
各ユーザエージェントグループとその許可/拒否ルールを解析します。ブロックされているものを正確に見ることができます。
宣言されたサイトマップ
robots.txt に参照されているすべてのサイトマップをリスト化し、それぞれをフェッチし、そのタイプと URL 数を報告します。
クエリ文字列の膨張
クエリ文字列サイトマップURLをフラグ付け、これはほぼ重複したページを生成し、重複コンテンツの降格を引き起こします。
フェッチヘルス
robots.txt で宣言されたサイトマップのうち、エラーを返す、リダイレクトする、XML でないものを検出します。これらは気づきにくいクロールの大敵です。
よくある質問
パイプラインで運転して
このテスターはすべてサーバー側で動作します。URL を送信すると、バックエンドが robots.txt と宣言されたサイトマップを取得して解析し、結果とともにこのページを再描画します。CI/CD や一括監査向けのプログラム用 REST API は、有料のマネージドプランでご利用いただけます。 図面を参照 →
プログラム的に使う
すべてのツールは、Pro プランと API プランで 1 つの認証付き REST API から利用できます。CI、CMS、ダッシュボードに組み込めます。