Robots.txtジェネレーター
ウェブクローラー用のビジュアルrobots.txtファイルジェネレーター
Robots.txt設定
ユーザーエージェントブロック
サイトマップURL
クロール遅延
クイックパス追加
生成されたrobots.txt
使用例
すべてのクロールを許可
サイトマップ付きですべての検索エンジンにすべてのページのクロールを許可するシンプルなrobots.txt。
機密フォルダをブロック
サイトの残りを許可しながら、管理、プライベート、API、一時フォルダのクロールをブロック。
マルチエージェントルール
複数のユーザーエージェントブロックとサイトマップで異なる検索エンジンに異なるルール。
機能
ビジュアルビルダー
直感的なインターフェースでrobots.txtをビジュアルに構築
複数ユーザーエージェント
各クローラーに異なるルールを持つ複数のユーザーエージェントブロックをサポート
検証
robots.txtの一般的な問題と構文エラーを検証
プライバシー優先
すべての処理はブラウザ内でローカルに行われます
使い方
ルールを設定
ユーザーエージェントを選択し、制御したいパスの許可/禁止ルールを追加します。
サイトマップを追加
検索エンジンがページを効率的に発見できるようにサイトマップURLを追加します。
コピーまたはダウンロード
生成されたrobots.txtをコピーまたはダウンロードします。ウェブサイトのルートディレクトリに配置します。
よくある質問
Robots.txtジェネレーターとは？
Robots.txtジェネレーターは、検索エンジンクローラーがサイトのどの部分にアクセスできるかを制御するrobots.txtファイルの作成を支援します。手書きで構文を書く代わりに、ユーザーエージェントを選び、allow/disallowルールを追加し、サイトマップURLを入力すると、ツールがファイルを生成します。
主な機能
クローラーごとに異なるルールを持つ複数のユーザーエージェントブロック。/admin/、/api/、/tmp/などの一般的なパスのクイック追加ボタン。サイトマップURL管理。クロール遅延設定。デプロイ前に構文エラーを検出する内蔵バリデーション。一般的なシナリオ向けのプリセット。
よくある使用例
管理パネルとAPIエンドポイントをクローラーからブロック。検索エンジンがすべてのページを見つけられるようサイトマップURLを追加。Googlebotと他のボットに異なるルールを設定。サーバーに負荷をかけるボットにクロール遅延を追加。
ヒント
サイトマップURLは必ず含めましょう。検索エンジンがページをレンダリングするのに必要なCSSやJSファイルはブロックしないでください。robots.txtは公開されるので、機密URLを隠すために使わないでください。
プライバシー
すべてブラウザ内で動作します。URLやルールはサーバーに送信されません。