robots.txt検証ツール
robots.txtファイルの構文を検証し、URLがクロール許可・拒否されるかテスト。SEO対策に必須。無料、100%ブラウザで動作。
参考
robots.txtとは？
robots.txtはウェブサイトのルートに配置されるファイルで、検索エンジンのクローラーにクロール可能な範囲を指示します。正しく設定することでSEOの最適化に貢献します。
ディレクティブ
User-agent — 対象のクローラーを指定。Disallow — クロールを禁止するパス。Allow — Disallow内で特定のパスを許可。Sitemap — サイトマップのURL。Crawl-delay — クロール間隔。
用途
SEO — クローラーのアクセス制御の検証。サイト移行 — 新しいrobots.txtの事前テスト。デバッグ — インデックスされない問題の原因調査。
プライバシー
すべての検証はブラウザ内で100%実行されます。robots.txtの内容はサーバーに送信されません。