robots.txt生成
サイト公開時やクロール制御の見直しで、robots.txt を書く場面に。クローラーごとの許可・拒否を選んで、構文の確認までその場で行えます。
🔒 入力内容はお使いのブラウザ内だけで処理され、サーバーには送信されません。
すべてのクローラー(User-agent: *)
AI クローラーの拒否
チェックしたクローラーに「Disallow: /」を出力します。各社が公開している User-agent 名です。
個別のクローラー設定
Googlebot、Bingbot など特定のクローラーに別のルールを与えたいときに追加します。
Sitemap
手元の robots.txt を検証する
使い方
- 「すべてのクローラー」の欄に、クロールを断るパス(Disallow)と例外的に許可するパス(Allow)を 1 行ずつ入力します。
- AI に学習・収集されたくない場合は、該当するクローラーにチェックを入れます。
- Googlebot など特定のクローラーだけ別のルールにしたいときは「クローラー設定を追加」します。
- サイトマップの URL を入れ、「生成する」を押します。結果をサイトのルート直下に
robots.txtとして置きます。
書き方の決まり
| 項目 | 扱い |
|---|---|
| User-agent | クローラーの名前。* はすべてのクローラー |
| Disallow | 前方一致でクロールを断るパス。/ から書きます。値が空ならすべて許可 |
| Allow | Disallow の中の例外。Google と Bing は、より長く一致したルールを優先します |
* と $ |
任意の文字列と URL の末尾(/*.pdf$)。主要な検索エンジンが対応 |
| Sitemap | グループに属さない行。完全な URL で指定します |
| Crawl-delay | 秒単位の間隔。Google は無視し、Bing など一部が対応 |
クローラーは、自分の名前に最も一致するグループだけを読みます。User-agent: Googlebot のグループがあると、Googlebot は * のルールを読みません。個別グループには必要なルールをすべて書いてください。
こんな時に
- 公開前のテストサイト: 「サイト全体をクロール禁止」で
Disallow: /を出します。確実に隠すには Basic認証を併用してください。 - 管理画面や検索結果ページを除外:
/wp-admin/や/searchを Disallow に入れます。WordPress では/wp-admin/admin-ajax.phpを Allow で戻すのが一般的です。 - 既存ファイルの確認: 「手元の robots.txt を検証する」に貼ると、書式の誤りや効かない行を指摘します。
注意
- robots.txt は noindex ではありません。クロールを断っても、リンクされていれば URL が検索結果に出ることがあります。検索結果から外すには、クロールを許可したうえで noindex を使います。
- robots.txt は誰でも読めます。隠したいパスを書くと、かえって場所を知らせます。秘密にすべきものは認証で守ってください。
- AI クローラーの拒否は「お願い」であり、従わないクローラーを止める仕組みではありません。
よくある質問
Disallow に書けば検索結果から消えますか?
消えません。robots.txt はクロール(ページの取得)を断るだけで、他のサイトからリンクされていれば URL だけが検索結果に出ることがあります。検索結果に出したくないページには、クロールを許可したうえで <meta name="robots" content="noindex"> か HTTP ヘッダーの X-Robots-Tag: noindex を付けてください。Disallow と noindex を同時に設定すると、クローラーが noindex を読めなくなるので注意が必要です。
AI クローラーを拒否すると検索順位に影響しますか?
GPTBot、ClaudeBot、CCBot などは検索エンジンのクローラーとは別のものなので、拒否しても Google や Bing の検索には影響しません。ただし Google-Extended は Google の AI 学習用の指定で、通常の Googlebot とは別に扱われます。各社の公開情報に基づくプリセットですので、名称や方針が変わることがあります。
Crawl-delay は効きますか?
Google は Crawl-delay を無視します(クロール頻度は Search Console で調整します)。Bing など一部のクローラーは対応しています。必要なクローラーの User-agent グループにだけ書いてください。
robots.txt はどこに置きますか?
サイトのルート直下(https://example.com/robots.txt)にだけ置けます。サブディレクトリに置いても読まれません。サブドメインごとに別ファイルが必要です。文字コードは UTF-8 で、先頭に BOM を付けないでください。