robots.txtジェネレーター

robots.txtジェネレーターは、構文を覚えなくても正しい形式の robots.txtファイルを作成できる、Webマスターやseo専門家向けの 無料ブラウザベースツールです。robots.txtファイルはウェブサイトの ルートに配置され、Webクローラーにサイトのどの部分へのアクセスを 許可または禁止するかを指示します。1994年に初めて導入されたRobots Exclusion Protocolの最も基本的で歴史あるメカニズムの一つです。

Googlebot、Bingbotなどの検索エンジンクローラーは、サイトを クロールする前にrobots.txtファイルを確認します。 ユーザーエージェントごとにルールを指定することで、異なるクローラーが ページとどのようにやり取りするかを制御できます。例えば、Googleには 全アクセスを許可しつつ、GPTBotやCCBotなどのAI学習用クローラーを ブロックすることが可能です。また、Crawl-delayディレクティブで 攻撃的なボットからのサーバー負荷を軽減できます。

このツールはすべての標準的なrobots.txtディレクティブをサポート しています：User-agent、Allow、Disallow、Crawl-delay、 Sitemap、Host。ビジュアルエディタでは複数のユーザーエージェント グループを追加でき、それぞれに独自のルールセットを設定できます。 ライブプレビューが構築しながら更新されるため、ファイルに出力される 正確な内容を確認できます。

すべての処理はブラウザ内で完結します。データがサーバーに送信される ことはないため、どんなプロジェクトでも安全に使用できます。組み込みの バリデーターが、ユーザーエージェントの欠落、無効なパス、競合するルール、 不正なサイトマップURLなどの一般的なミスをチェックし、デプロイ前に エラーを検出するのに役立ちます。

1. 必要に応じてドロップダウンからプリセットテンプレートを選択し、一般的な設定（全許可、全ブロック、AIクローラーブロック、標準ブログ、Eコマース）から始めます。
2. ユーザーエージェントグループを追加・編集します。各グループはクローラー名（例：Googlebot、*、GPTBot）とAllow/Disallowルールのセットを指定します。
3. 各グループに制御したいパスのAllowまたはDisallowルールを追加します。パス入力では/admin、/api、/wp-adminなどの一般的なパスの候補が表示されます。
4. 各グループにオプションのCrawl-delayを設定して、リクエスト間の待機秒数をクローラーに伝えます。
5. 1つ以上のサイトマップURLを追加して、クローラーがサイトマップファイルを見つけられるようにします。
6. 必要に応じてHostディレクティブを設定して優先ドメインを指定します（Yandexで使用）。
7. 右側のライブプレビューで出力が正しいか確認します。
8. Validateをクリックして一般的な問題をチェックし、CopyまたはDownloadでファイルを取得します。