ジェイルブレイクとは
Jailbreak
特殊なプロンプトによってLLMに組み込まれた安全性の制約を回避させる手法
ひとことで言うと
特殊な言い回しを使って、AIに設定された安全上の制限を破らせる手口。
概要
ジェイルブレイク(Jailbreak)とは、LLMがアライメントを通じて獲得した「有害な内容を生成しない」等の安全性の制約を、特殊なプロンプトの工夫によって回避させる手法。 架空のシナリオを設定して制約のない別人格を演じさせる、複数のステップに分けて段階的に制約を外させる等、様々な手口が知られている。 モデルの脆弱性を明らかにする研究や防御手法の改善に役立つ一方、悪用されれば有害な出力を引き出すリスクにもなる。 モデル提供元は既知の手口を学習データやアライメント過程に反映させて対策を進めるが、新たな回避手法も次々と考案されるため、いたちごっこの状態が続いている。 セキュリティ研究者が脆弱性を報告するのと同様に、開発元へ責任ある形で結果を共有する「レッドチーミング」の一環として行われる場合と、悪意を持って有害な出力を引き出す目的で行われる場合とでは、倫理的な位置づけが大きく異なる。
背景
LLMはRLHF等のアライメントを通じて、有害な要求を拒否するよう学習される。 しかしこの制約は、あくまで学習によって獲得された振る舞いのパターンであり、想定外のプロンプトの与え方によって回避できてしまうことが分かっている。
歴史
2022年12月: ChatGPT公開直後、「DAN(Do Anything Now)」と呼ばれる、制約のない別人格を演じさせる代表的なジェイルブレイクプロンプトがRedditコミュニティ等で広まり、この頃から「ジェイルブレイク」という呼称がLLMの安全性回避を指す言葉として定着した。
アーキテクチャ
代表的な手口として、「制約のない架空のAIを演じてください」といった役割設定(ロールプレイ)による誘導、無害な指示から始めて徐々に制約を緩めていく段階的な誘導、通常とは異なる言語やエンコーディングを用いて安全フィルタを回避する手法等がある。
ワークフロー
特殊なロールプレイ設定や段階的な誘導を含むプロンプトを入力 → モデルがアライメントで学習した拒否パターンを認識できず要求に応答 → 本来拒否されるべき出力が生成される。
欠点
- 悪用されると、本来拒否されるべき有害な出力(危険物の製造方法等)を引き出されるリスクがある
- 新しい手口が次々と考案されるため、対策がいたちごっこになりやすい
- モデル提供元が対策を講じても、わずかな言い回しの変更で再度回避されることがある
比較
- プロンプトインジェクション — プロンプトインジェクションは外部から指示を注入する攻撃、ジェイルブレイクはモデル自身の安全制約を回避させる攻撃という違いがある
- アライメント — ジェイルブレイクは、アライメントによって獲得された安全性の制約を回避しようとする試み
- レッドチーミング — レッドチーミングは、ジェイルブレイク等の手法を用いてモデルの脆弱性を事前に発見する取り組み
関連用語
よくある質問
ジェイルブレイクの研究は許容される？
モデルの安全性を検証・改善する目的での研究(レッドチーミング等)は、責任ある開示を伴う形で広く行われている。 一方、実際の悪用は利用規約や法律に抵触する可能性がある。
ジェイルブレイクとプロンプトインジェクションは同じもの？
いいえ。 ジェイルブレイクはモデル自身に組み込まれた安全性の制約を回避させる手法であるのに対し、プロンプトインジェクションは外部から悪意ある指示を注入し開発者の意図した振る舞いを変えさせる手法という違いがある。
参考文献
- Research PaperJailbroken: How Does LLM Safety Training Fail?