GPT-Redが自動レッドチーミングを自己改善ループへ

OpenAIは、モデルが攻撃シナリオを自ら生成し、防御側モデルとの自己対戦を通じて堅牢性を高める社内レッドチーミングシステム「GPT-Red」を紹介しました。第三者コンテンツやツール出力に仕込まれるプロンプトインジェクションを主な対象にしています。

要点

• 攻撃側がブラウザー、ファイル、ツール出力などを経由する新しい攻撃を生成し、防御側が対処します。
• GPT-RedはGPT-5.5までのモデルを破る攻撃を見つけ、GPT-5.6 Solの学習と評価に使われました。
• 公表値では、GPT-5.6 Solの直接プロンプトインジェクション失敗率は0.05%で、4か月前の最良本番モデルより6倍低下しました。

今回のブログ記事で語られていること

従来のレッドチーミングは、人が既知の攻撃パターンを作り、モデル更新ごとに再実行するため、エージェントの能力向上と攻撃面の拡大へ追いつきにくいという課題があります。GPT-Redは攻撃役と防御役を分け、攻撃役が環境と目標に応じた手口を生成し、防御を突破できた結果を次の学習へ戻します。対象は利用者が直接入力する命令だけではありません。ウェブページ、メール、共有ファイル、検索結果、外部ツールの応答といった、モデルが信頼しすぎる可能性のある第三者コンテンツからの間接プロンプトインジェクションも含みます。

OpenAIは、GPT-RedがGPT-5.5までのモデルを破る攻撃を発見し、その成果をGPT-5.6 Solの防御学習へ利用したと説明します。公開された比較では、GPT-5.6 SolはGPT-Redによる直接攻撃で0.05%失敗し、4か月前の最良本番モデルより失敗が6分の1になりました。人間が作った攻撃との比較では、GPT-Redが成功シナリオを見つけた割合を84%、人間側を13%としています。例には、自動販売エージェントの操作や、Codex CLIからの情報持ち出しを狙うシナリオが含まれます。ただし、これらはOpenAI自身の評価環境と指標による結果で、あらゆる統合先や未知の攻撃への安全を保証する数値ではありません。

重要なのは、攻撃生成器を本番エージェントから分離し、社内システムとして保持している点です。強力な攻撃能力を一般機能へ混ぜず、隔離した評価・学習ループで使います。導入側にとっては、モデル更新だけで安全対策が完了するわけではありません。ツール権限の最小化、機密データ境界、外部コンテンツの信頼区分、異常操作の監査、失敗時の停止を組み合わせる必要があります。モデルの失敗率が低くても、実行権限が大きければ一度の突破による損害は大きくなるためです。

今回のブログ記事が関係する人

外部コンテンツを読むAIエージェントの開発者、Codexやブラウザー操作を組み込む基盤担当、プロンプトインジェクション対策を検証するセキュリティ担当に関係します。

結局、今回のブログ記事をどう読むべきか

単発の安全評価から、攻撃と防御を継続的に競わせる仕組みへの移行です。公表ベンチマークを安全保証とせず、自社のデータ、権限、ツールを含む脅威モデルで再評価することが次の作業です。