TruthfulQAとは
誤った通説や俗説に迎合せず、真実に基づいた回答をLLMが返せるかを測るベンチマーク
ひとことで言うと
「よくある勘違い」に釣られず、AIが正しいことを答えられるか試すテスト。
概要
TruthfulQAは、人々の間で広く信じられているものの事実ではない俗説や誤解(健康・法律・陰謀論など)に関する質問を集めたベンチマークで、LLMが学習データ中に頻出する誤った通説へ迎合してもっともらしく答えてしまうか、それとも正確な事実に基づいて回答できるかを測定する。 単に知識の量を測るのではなく、学習データに含まれる人間の誤解や偏見のパターンをそのまま繰り返してしまう傾向(模倣的誤り、imitative falsehoods)を検出することに主眼を置く。 モデルが大規模かつ流暢になるほど、かえって誤った通説をもっともらしく述べてしまう場合があることを示す目的で設計されている。 各質問には、真実に基づく回答例とよくある誤答例の両方が用意されている。 人手による評価に加え、別のLLMを判定役に使う自動採点の枠組みも提供されている。 LLMの知識量や流暢さだけでなく、事実に忠実であろうとする姿勢(truthfulness)を評価する指標として、モデルの安全性・信頼性を議論する際にしばしば参照される。
背景
LLMは学習データ中の統計的なパターンを学習するため、人々の間で広く信じられている誤った通説も、あたかも事実のごとく流暢に述べてしまうことがある。 TruthfulQAは、この「もっともらしいが誤った回答」という問題を体系的に検出し、モデルの真実性を定量的に評価できるようにする目的で作成された。
歴史
2021年: LinらがTruthfulQAを提案する論文「TruthfulQA: Measuring How Models Mimic Human Falsehoods」を発表。 2022年以降: 主要なLLMのアライメント・安全性評価の一環として、TruthfulQAでのスコアが継続的に報告されるように。
利点
- 単なる知識量ではなく、誤った通説への迎合しやすさという特有のリスクを検出できる
- モデルの規模が大きくなるほど性能が向上するとは限らないという、直感に反する結果を可視化できる
- 人手評価とLLMによる自動評価の両方の枠組みが用意されており、継続的な評価に組み込みやすい
欠点
- 何が「真実」であるかの判定基準には価値観が絡む分野(政治・倫理など)もあり、判定の客観性に議論の余地がある
- 質問数が限られており、対象領域(健康・法律・陰謀論など)に偏りがある
- 自動採点に使う判定役のLLM自体の判断精度に、評価結果が左右される
比較
- ハルシネーション — TruthfulQAは、ハルシネーションのうち特に人間の誤った通説を模倣するタイプの誤りを検出するベンチマーク
- MMLU — MMLUが幅広い知識の正確さを問うのに対し、TruthfulQAは誤った通説への迎合しやすさに特化して問う
- LLM-as-a-Judge — TruthfulQAの自動採点では、別のLLMを判定役に使うLLM-as-a-Judgeの枠組みが使われる
関連用語
よくある質問
TruthfulQAで測る「真実性」とは？
単なる知識の正確さだけでなく、学習データ中に頻出する誤った通説や俗説に対し、迎合せず事実に基づいた回答を返せるかという性質を指す。
モデルが大きいほどTruthfulQAのスコアは高い？
必ずしもそうではない。モデルが大規模かつ流暢になるほど、学習データ中の誤った通説をよりもっともらしく述べてしまうことがあると報告されている。
参考文献
- Research PaperTruthfulQA: Measuring How Models Mimic Human Falsehoods