Google-Agentとは|AIボットを一括ブロックする前の確認
AIのボットをまとめてブロックしている自社ECサイトは、Googleの「Google-Agent」まで止めていないかを確かめてください。Google-Agentは、利用者の依頼を受けてGoogleのAIエージェントがサイトを見て回り、操作するときに使う名前です。Googleは2026年11月17日、CDNやファイアウォール、ボット対策サービスでGoogle-Agentを通すための技術ガイドを公開しました。robots.txtだけでは制御できない点と、通すときの確認項目をまとめます。
Google-Agentとは何か
Googleのドキュメントは、Google-Agentを次のように説明しています。
Google-Agent is the name used by agents hosted on Google infrastructure to navigate the web and perform actions upon user request.
Google for Developers「Allow Google-Agent traffic」
訳すと「Googleのインフラ上で動くエージェントが、利用者の依頼に応じてウェブを移動し、操作を行うときに使う名前」です。Googleのドキュメントでは、人が頼んだときに動く「ユーザートリガーフェッチャー」の一覧に載っています。
Search Engine Roundtableは11月17日にこのページの公開を報じ、Google-Agent自体は3月にも取り上げていたと書いています。今回新しいのは、サイト側でどう通すかを書いた専用のページです。
robots.txtでは止まらない
ユーザートリガーフェッチャーについて、Googleは次のように書いています。
Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules.
Google for Developers「Google user-triggered fetchers」
robots.txtにGoogle-Agentを拒否する行を書いても、一般的には効きません。Google-Agentが止まっているとすれば、原因はCDN(コンテンツ配信の仕組み)、WAF(ウェブアプリケーションファイアウォール)、ボット対策サービスの設定にあると考えられます。「AIのボットを一括でブロック」という設定を入れているなら、そこで止まっている可能性があります。
| 仕組み | Google-Agentへの効き方 |
|---|---|
| robots.txt | 一般的には無視される |
| CDN・WAF | 設定しだいで止まる |
| ボット対策 | AI一括ブロックで止まり得る |
通すか止めるかは、サイトの目的で決める
Googleのガイドは「通したいサイト向け」の手順です。すべてのサイトに通すよう求めているわけではありません。ここからは編集部の考えです。
自社ECサイトで、商品を探す・比べる・カートに入れる、といった操作をAIに代わってもらう使われ方を受け入れたいなら、通す設定を検討する意味があります。会員専用の情報や、自動アクセスを受けたくないページがあるなら、通す範囲を決めてから設定します。どちらの場合も、「AIは全部止める」という一括の設定を、意図して選んでいるかを確かめるのが最初の作業です。
どのカートシステムやサーバーを使うかによって、CDNやWAFの設定を店舗が自分で変えられるか、提供会社に頼むかも変わります。構築方法ごとの違いはECサイト制作の費用相場とカートシステムの選び方で紹介しています。
通すときにGoogleが挙げている確認項目
Googleは、本物のGoogle-Agentかを確かめる方法として、次の3点を挙げています。
- User-AgentヘッダーにGoogle-Agentが含まれている
- 接続元のIPアドレスが、Googleが公開しているuser-triggered-agents.jsonの範囲にある
- 署名付きのリクエストなら、Web Bot Authの方式で署名を確かめる(Googleは試験運用中としています)
そのうえで、確認できたリクエストはボットの確認画面を出さずに通す、としています。編集部の考えでは、User-Agentの文字だけで通すと名前をまねたアクセスまで通してしまうので、IPアドレスの確認とセットにするのが無難です。
通したのに止まるときの6つの確認
ガイドのトラブルシューティングには、通す設定を入れても止まる原因が6つ並んでいます。自社ECサイトに当てはめると、次のようになります。
| 確認 | 自社ECでの見どころ |
|---|---|
| ルールの順番 | 許可がAI一括ブロックより先に評価されるか |
| 確認画面 | CAPTCHAやJavaScriptの確認も外れるか |
| 操作の範囲 | 検索、絞り込み、商品詳細、カート、APIまで通るか |
| 回数制限 | 共有IPからの同時アクセスで止めていないか |
| IPの更新 | 公開リストの変更に追従しているか |
| 中継の設定 | ロードバランサーが元のIPと見出しを残すか |
とくに見落としやすいのが「操作の範囲」です。トップページだけ通しても、カートに入れる処理や在庫を返すAPIで止まれば、利用者から見ると途中で失敗したことになります。
自社サイトで今日できること
まず、使っているCDN・WAF・ボット対策サービスの管理画面で、AIのボットやデータセンターからのアクセスを一括で止める設定があるかを確かめます。次に、アクセスログでGoogle-Agentを含むリクエストが来ているか、来ている場合にどの応答コードを返しているかを見ます。403や確認画面が多ければ、意図せず止めている可能性があります。
設定の細かい手順はサービスごとに違うため、Googleも、正確な手順は各サービスの提供元に確認するよう案内しています。設定を変える前に、今の設定と変更内容を記録してから進めてください。
まとめ
Google-Agentは、利用者の依頼でGoogleのAIエージェントがサイトを操作するときの名前で、robots.txtは一般的には効きません。止めるか通すかを決めているのはCDN・WAF・ボット対策の設定です。AIの一括ブロックを入れている自社ECサイトは、まずその設定が意図どおりかを確認してください。
レジットでは、自社サイトの技術的な点検や改善のご相談も受けています。お問い合わせの際は、対象サイトのURLと、使っているCDNやサーバーの名前をお知らせください。
用語集
この記事で使った言葉を短く説明します。
- CDN:画像やページを各地のサーバーから配り、表示を速くする仕組み
- WAF:不正なアクセスを止めるための、ウェブサイト向けのファイアウォール
- ユーザートリガーフェッチャー:人の依頼を受けたときにだけ、Googleのサービスがページを取りにいく仕組み
- Web Bot Auth:ボットが自分の正体を電子署名で示す方式
参考・出典
Google-Agentの説明と確認項目はGoogleの公式ドキュメント、公開日はSearch Engine Roundtableの報道を参照しました。通すかどうかの考え方は編集部の意見で、個別のサイトの設定を保証するものではありません。