AIモデル/セキュリティ🔥 トレンド
OpenAI、自動レッドチームAI「GPT-Red」発表 攻撃成功率は人間の6倍超
ITmedia AI+•2026年7月16日
OpenAIは自社モデルを自動で攻撃し、弱点を鍛える社内専用AI「GPT-Red」を発表したと報じられています。人間のレッドチーマーを大きく上回る攻撃成功率を記録したとされ、AIエージェントの安全性強化に向けた新たな手法として注目されています。
これまでの流れ
この発表に至るまでの経緯を、プロンプトインジェクションという概念の登場から振り返ります。
2022年9月
「プロンプトインジェクション」が命名される
プログラマーのSimon Willison氏が、悪意ある入力でAIの意図しない動作を引き起こす手法を指す用語として「プロンプトインジェクション」を提唱したと伝えられています。Riley Goodside氏らによるGPT-3を操作する実演がその契機になったとされています。
2023年10月
OpenAIが外部レッドチーム網を公募
OpenAIは、AIモデルの安全性評価に協力する外部専門家を募る「Red Teaming Network」の公募を開始したと発表しています。DALL-E 2以降、外部の人手によるレッドチーム評価を重ねてきた流れの延長にあるとされています。
2026年7月16日
「GPT-Red」発表
OpenAIは、人手によるレッドチームの限界を補う形で、AIモデル自身に攻撃役を担わせる社内専用AI「GPT-Red」を発表したと報じられています。
2026年7月16日
今日
OpenAI、自動レッドチームAI「GPT-Red」発表 攻撃成功率は人間の6倍超
要点
- OpenAIは2026年7月16日、自社モデルへのプロンプトインジェクション耐性を高めるため、攻撃役を担う社内専用AI「GPT-Red」を発表したと報じられています。
- 未知のシナリオを用いた検証で、GPT-Redの攻撃成功率は84%に達し、人間のレッドチーマーの13%を大きく上回ったとされています。
- 社内のAI自動販売機エージェントを対象とした実地テストでは、高額商品の価格を最低額に書き換える、他の顧客の注文を取り消すなど、3つの悪意ある目標すべてを達成したと伝えられています。
- 攻撃手法が外部で悪用されるリスクを避けるため、GPT-Redは一般提供せず、あくまで社内でのモデル訓練・検証用に限定して運用するとされています。
なぜ重要か
AIエージェントが決済や業務システムを直接操作する場面が増えるなか、プロンプトインジェクションは実害に直結しやすい脆弱性として注目されてきました。人間によるレッドチーム（意図的に弱点を探す検証者）には時間と人数の制約があり、攻撃パターンを網羅的に洗い出すことは容易ではないとされています。GPT-Redのようにモデル同士を競わせて弱点を探索させる手法は、防御側の学習データを質・量ともに拡充できる可能性があり、AIエージェントの安全性を底上げする取り組みとして注目されています。
この先の見立て
OpenAIは今後もGPT-Redを社内の訓練ループに組み込み、新しいモデルの防御力を継続的に鍛えていく方針とされています。今回の発表を機に、他の開発企業でも自動化されたレッドチーム手法への関心が高まる可能性があります。一方で、攻撃用AIの学習データや手法そのものが外部に流出・悪用されるリスクの管理や、外部の第三者による独立した検証との両立が今後の課題になるとみられます。
※ 攻撃成功率などの数値はOpenAI自身の発表に基づくものであり、第三者機関による独立検証は確認されていません。
→