ハルシネーション（Hallucination）とは
Hallucination
LLMが事実に基づかない内容を、もっともらしく生成してしまう現象
ひとことで言うと
AIが、事実ではないことをまるで本当のことのように答えてしまう現象。
概要
ハルシネーションとは、大規模言語モデル(LLM)が学習データや与えられたコンテキストに存在しない事実を、あたかも正しい情報であるかのように流暢な文章で生成してしまう現象。 LLMは次に来るトークンを確率的に予測して文章を生成する仕組み上、事実の正誤を検証する機構を持たず、文法的・文脈的にもっともらしい文が必ずしも事実と一致するとは限らない。 存在しない文献の引用、誤った日付や数値、実在しない人物・製品の紹介などの形で現れることが多く、企業向けアプリケーションや医療・法律など正確性が求められる領域での実運用における主要な課題の1つになっている。 対策として、RAGによる外部知識の参照、出典の明示、生成後の事実検証(ファクトチェック)などが用いられるが、根本的な解消は難しく現在も研究が続く課題。
背景
LLMは次トークン予測という統計的な言語モデリングを学習目標としており、出力する内容が事実かどうかを直接検証する仕組みを持たない。 学習データに含まれない、または曖昧な知識を問われた際に、確率的にもっともらしい(しかし誤った)文を生成してしまうことがある。
歴史
2018年: Rohrbachらが画像キャプション生成の文脈で「Object Hallucination」という語を提案。 同年、Leeらがニューラル機械翻訳における同様の現象を指摘し、NLP分野でも「ハルシネーション」という呼称が定着し始める。 2020年代: LLMの実用化に伴い、生成AI全般における主要な信頼性課題として広く議論されるようになる。
ワークフロー
モデルが根拠となる外部情報なしに応答を生成する → 誤りを含む出力も文法的には自然に見えるため気づかれにくい。 RAGによる根拠づけや出典表示、事後のファクトチェック・LLM-as-a-Judgeによる検証、ガードレールの追加といった対策を組み合わせて誤りの発生・見逃しを抑える。
欠点
- 誤情報を自信ありげに提示するため、利用者が誤りに気づきにくい
- 医療・法律・金融など正確性が求められる領域での実運用リスクになる
- 検証コストが発生し、人間によるファクトチェックが別途必要になる場合がある
比較
- RAG — RAGは検索結果に回答を根拠づけることで、ハルシネーションを低減する代表的な対策手法
- LLM — ハルシネーションはLLMの生成メカニズムに起因する代表的な限界の1つ
- ガードレール — ガードレールは、ハルシネーションを含む望ましくない出力を検知・抑制するための仕組み
- LLM-as-a-Judge — LLM-as-a-Judgeは、生成結果にハルシネーションが含まれていないかを自動評価する手法としても使われる
関連用語
よくある質問
ハルシネーションはなくせる？
現時点の技術では完全な排除は難しいとされる。 RAGによる根拠づけ、出典提示、事実確認のためのファインチューニングなどにより低減を図るのが一般的なアプローチ。
ハルシネーションはどうやって発見する？
出典・引用元を確認する、既知の事実と照合する、複数回生成させて回答の一貫性を見る、LLM-as-a-Judgeなど別のモデルで検証させるといった方法が使われる。
参考文献
- Research PaperSurvey of Hallucination in Natural Language Generation