ハルシネーションとは
Hallucination
LLMが事実に基づかない内容を、もっともらしく生成してしまう現象
ひとことで言うと
AIが、事実ではないことをまるで本当のことのように答えてしまう現象。
概要
ハルシネーションとは、大規模言語モデル(LLM)が学習データや与えられたコンテキストに存在しない事実を、あたかも正しい情報であるかのように流暢な文章で生成してしまう現象。 LLMは次に来るトークンを確率的に予測して文章を生成する仕組み上、事実の正誤を検証する機構を持たず、文法的・文脈的にもっともらしい文が必ずしも事実と一致するとは限らない。 存在しない文献の引用、誤った日付や数値、実在しない人物・製品の紹介などの形で現れることが多く、企業向けアプリケーションや医療・法律など正確性が求められる領域での実運用における主要な課題の1つになっている。 対策として、RAGによる外部知識の参照、出典の明示、生成後の事実検証(ファクトチェック)などが用いられるが、根本的な解消は難しく現在も研究が続く課題。
背景
LLMは次トークン予測という統計的な言語モデリングを学習目標としており、出力する内容が事実かどうかを直接検証する仕組みを持たない。 学習データに含まれない、または曖昧な知識を問われた際に、確率的にもっともらしい(しかし誤った)文を生成してしまうことがある。
歴史
2018年: Rohrbachらが画像キャプション生成の文脈で「Object Hallucination」という語を提案。 同年、Leeらがニューラル機械翻訳における同様の現象を指摘し、NLP分野でも「ハルシネーション」という呼称が定着し始める。 2020年代: LLMの実用化に伴い、生成AI全般における主要な信頼性課題として広く議論されるようになる。
欠点
- 誤情報を自信ありげに提示するため、利用者が誤りに気づきにくい
- 医療・法律・金融など正確性が求められる領域での実運用リスクになる
- 検証コストが発生し、人間によるファクトチェックが別途必要になる場合がある
比較
関連用語
よくある質問
ハルシネーションはなくせる？
現時点の技術では完全な排除は難しいとされる。 RAGによる根拠づけ、出典提示、事実確認のためのファインチューニングなどにより低減を図るのが一般的なアプローチ。