レッドチーミングとは
Red Teaming
攻撃者の視点でモデルやシステムの脆弱性を能動的に発見する、AIの安全性検証手法
ひとことで言うと
攻撃者の立場になって、AIの弱点や抜け穴を先に見つけ出す安全確認の手法。
概要
レッドチーミング(Red Teaming)とは、攻撃者の視点に立って、LLMやAIシステムに対しジェイルブレイク・プロンプトインジェクション等の手法を実際に試み、脆弱性や望ましくない挙動を能動的に発見する安全性検証の手法。 元々は軍事・サイバーセキュリティ分野で使われてきた「攻撃側チーム(レッドチーム)による疑似攻撃で防御側の弱点を洗い出す」という考え方をAIの安全性評価に応用したもので、社内の専門チームによる手動の検証と、自動化されたツールによる大規模な検証を組み合わせて行われることが多い。 OpenAI・Anthropic等の主要なAI企業は、新モデルの公開前に社内外の専門家によるレッドチーミングを実施し、発見された脆弱性をアライメントの改善やガードレールの強化に反映させる工程を組み込んでいる。
背景
LLMの安全性は、通常の使い方を想定したテストだけでは十分に検証できず、悪意ある利用者が試みるであろう巧妙な攻撃手法も踏まえて評価する必要がある。 レッドチーミングは、実際に攻撃的なプロンプトを試すことで、こうした想定外のリスクを開発・公開前に発見する目的で採用されている。
歴史
2023年: 米国のホワイトハウスがAI企業に対し、モデル公開前のレッドチーミングの実施と結果の情報共有を求める自主的な取り組みへの合意を発表。 以降、主要なAIベンダーがモデルの安全性評価プロセスの一環としてレッドチーミングを組み込むことが一般的になった。
アーキテクチャ
専門のセキュリティ・安全性チームが、ジェイルブレイク、プロンプトインジェクション、有害コンテンツの生成誘導等、様々な攻撃パターンを実際にモデルへ試行する。 発見された脆弱性は、追加のアライメント学習やガードレールの改善へフィードバックされる。 近年は、この検証プロセスの一部を自動化する研究も進んでいる。
利点
- 実際の攻撃を模した検証により、通常のテストでは見逃されやすい脆弱性を発見できる
- 発見された問題を、モデルの改善やガードレールの強化に直接フィードバックできる
欠点
- 人手による検証は時間とコストがかかり、全ての攻撃パターンを網羅することは難しい
- 新しい攻撃手法が次々と考案されるため、一度の検証だけでは継続的な安全性を保証できない
比較
関連用語
よくある質問
レッドチーミングは誰が行う？
AIベンダー内の専門チームが行う場合のほか、社外の第三者機関やセキュリティ研究者に依頼する場合もある。
参考文献
- Research PaperRed Teaming Language Models to Reduce Harms
- BlogOpenAI: Red Teaming Network