クロールとインデックス作成

robots.txt とサイトマップテスター

サーバから robots.txt と sitemap.xml を取得し、クラウド検索指令と宣言されたサイトマップを表示し、複製コンテンツの降格を引き起こすクエリ文字列サイトマップ URL をフラグします。

robots.txt と sitemap.xml のテスト

４段階で登録なし 全てのチェックはサーバ側で行われる

1

サイト URL を貼り付け

サイトのホームページ URL を入力します。robots.txt の完全なパスは必要ありません。ホストから導き出します。

2

サーバから取得します

サーバは robots.txt とすべての宣言された sitemap.xml を要求します。 テストは、あなたのブラウザやキャッシュによってブロックされません。

3

指令とサイトマップを読む

解析されたユーザエージェントグループ、禁止ルール、宣言されたサイトマップのリストを、それぞれのURLサンプルと共に検証します。

4

フラグを修正

検索エンジンが重複をダウングレードする前に、クエリ文字列サイトマップURLやブロックされたがインデックス化された衝突を解決する。

このテスターがチェックするもの

１ページも出版する前に 内部で同じガードレールを 走らせる

📜

クロール指令

各ユーザエージェントグループとその許可/拒否ルールを解析します。ブロックされているものを正確に見ることができます。

🗺️

宣言されたサイトマップ

robots.txt に参照されているすべてのサイトマップをリスト化し、それぞれをフェッチし、そのタイプと URL 数を報告します。

⚠️

クエリ文字列の膨張

クエリ文字列サイトマップURLをフラグ付け、これはほぼ重複したページを生成し、重複コンテンツの降格を引き起こします。

🔗

フェッチヘルス

robots.txt に宣言されたエラー、リダイレクト、または非XMLの返信を捕捉する。

よくある質問

Sitemap の一つのクエリ文字列 URL は、何千ものほぼ重複したページを生み出すことができます。検索エンジンはこれらをクロールし、異なるパラメータで同じコンテンツを見つけ、重複したコンテンツのクラスタ全体を降格します。このテスターは、それが起こる前にそれらをフラグします。
いえ、robots.txt が無いか空の場合は、すべてのクローリングを許可します。リスクは逆の方です。広い範囲の拒否がインデックス化したいページをブロックするか、robots.txt に宣言されたサイトマップがエラーを返します。
テストは、robots.txt とその宣言したサイトマップを取得し、それぞれの URL のサンプルを読み込みます。 すべてのページを再帰的にクロールしません。
テスターは登録なしで無料です。REST APIを通じたプログラミングアクセスは有料のマネージドプランで利用できます。
開発者向け

パイプラインで運転して

これは、ユーザがURLを送信すると、バックエンドがrobots.txtと宣言されたサイトマップを取得して解析し、結果をもとにページを再レンダリングする。 図面を参照 →

開発者API

プログラム的に使う

プロプランとアプリケーションプランでは、すべてのツールが認証されたREST APIを通して利用可能であり、それをあなたのCI、CMS、またはダッシュボードにワイヤーする。

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200OK
{ "ok": true, "result": { ... } }
API キーを取得 → 上のインタラクティブツールの 無料版