OpenAI、自動レッドチームAI「GPT-Red」発表 攻撃成功率は人間の6倍超

プログラマーのSimon Willison氏が、悪意ある入力でAIの意図しない動作を引き起こす手法を指す用語として「プロンプトインジェクション」を提唱したと伝えられています。Riley Goodside氏らによるGPT-3を操作する実演がその契機になったとされています。

OpenAIは、AIモデルの安全性評価に協力する外部専門家を募る「Red Teaming Network」の公募を開始したと発表しています。DALL-E 2以降、外部の人手によるレッドチーム評価を重ねてきた流れの延長にあるとされています。

OpenAIは、人手によるレッドチームの限界を補う形で、AIモデル自身に攻撃役を担わせる社内専用AI「GPT-Red」を発表したと報じられています。