ハルシネーション率（幻覚率）とは
Hallucination Rate / 幻覚率
LLMの出力のうち、事実と異なる内容や根拠のない内容を含むものの割合を表す評価指標
最終更新:
概要
ハルシネーション率は、LLMが生成した回答のうち、事実誤認や与えられた資料に書かれていない内容(ハルシネーション)を含むものがどの程度あるかを示す指標。業務でLLMを使う際の信頼性の目安として重視される。 測り方は評価の目的によって異なる。与えた文書の要約や、RAGで検索した資料に基づく回答が資料と食い違っていないかを判定する方法と、一般的な知識に関する質問への回答が事実として正しいかを判定する方法がある。判定には人手による確認のほか、専用の分類モデルやLLM-as-a-Judgeが使われる。 数値は評価データ・判定方法・タスクによって大きく変わるため、異なる評価間の比較には注意が必要。自社の用途に近いデータで測ることが実務上は重要になる。