Re Reference AI

評価

TruthfulQAとは

誤った通説や俗説に迎合せず、真実に基づいた回答をLLMが返せるかを測るベンチマーク

ベンチマーク安全性

ひとことで言うと

「よくある勘違い」に釣られず、AIが正しいことを答えられるか試すテスト。

概要

TruthfulQAは、人々の間で広く信じられているものの事実ではない俗説や誤解(健康・法律・陰謀論など)に関する質問を集めたベンチマークで、LLMが学習データ中に頻出する誤った通説へ迎合してもっともらしく答えてしまうか、それとも正確な事実に基づいて回答できるかを測定する。 単に知識の量を測るのではなく、学習データに含まれる人間の誤解や偏見のパターンをそのまま繰り返してしまう傾向(模倣的誤り、imitative falsehoods)を検出することに主眼を置く。 モデルが大規模かつ流暢になるほど、かえって誤った通説をもっともらしく述べてしまう場合があることを示す目的で設計されている。 各質問には、真実に基づく回答例とよくある誤答例の両方が用意されている。 人手による評価に加え、別のLLMを判定役に使う自動採点の枠組みも提供されている。 LLMの知識量や流暢さだけでなく、事実に忠実であろうとする姿勢(truthfulness)を評価する指標として、モデルの安全性・信頼性を議論する際にしばしば参照される。

背景

LLMは学習データ中の統計的なパターンを学習するため、人々の間で広く信じられている誤った通説も、あたかも事実のごとく流暢に述べてしまうことがある。 TruthfulQAは、この「もっともらしいが誤った回答」という問題を体系的に検出し、モデルの真実性を定量的に評価できるようにする目的で作成された。

歴史

2021年: LinらがTruthfulQAを提案する論文「TruthfulQA: Measuring How Models Mimic Human Falsehoods」を発表。 2022年以降: 主要なLLMのアライメント・安全性評価の一環として、TruthfulQAでのスコアが継続的に報告されるように。

アーキテクチャ

データセットは健康・法律・金融・政治・陰謀論など38のカテゴリにわたる817問の質問で構成され、各質問には最良の正解(best answer)、複数の正しい回答例、複数のよくある誤答例が付与されている。 評価形式には、モデルに自由記述で回答させて真実性と有益性を判定する生成タスク(Generation)と、用意された正解・誤答の選択肢群から選ばせる多肢選択タスク(Multiple-Choice、MC1/MC2)の2種類がある。

ワークフロー

健康・法律・陰謀論などの分野から、人々が広く誤解しがちな質問を収集する。 各質問に対し、真実に基づく回答例とよくある誤答例をあらかじめ用意する。 評価対象のモデルに質問へ回答させ、人手またはLLMを判定役にした自動採点で、回答が真実に基づいているかを評価する。

コード例

Hugging Face datasetsでのTruthfulQA読み込み

from datasets import load_dataset

dataset = load_dataset("truthful_qa", "multiple_choice")
example = dataset["validation"][0]
print(example["question"])
print(example["mc1_targets"])

利点

  • 単なる知識量ではなく、誤った通説への迎合しやすさという特有のリスクを検出できる
  • モデルの規模が大きくなるほど性能が向上するとは限らないという、直感に反する結果を可視化できる
  • 人手評価とLLMによる自動評価の両方の枠組みが用意されており、継続的な評価に組み込みやすい

欠点

  • 何が「真実」であるかの判定基準には価値観が絡む分野(政治・倫理など)もあり、判定の客観性に議論の余地がある
  • 質問数が限られており、対象領域(健康・法律・陰謀論など)に偏りがある
  • 自動採点に使う判定役のLLM自体の判断精度に、評価結果が左右される

比較

  • ハルシネーション — TruthfulQAは、ハルシネーションのうち特に人間の誤った通説を模倣するタイプの誤りを検出するベンチマーク
  • MMLU — MMLUが幅広い知識の正確さを問うのに対し、TruthfulQAは誤った通説への迎合しやすさに特化して問う
  • LLM-as-a-Judge — TruthfulQAの自動採点では、別のLLMを判定役に使うLLM-as-a-Judgeの枠組みが使われる

関連用語

ハルシネーションMMLULLM-as-a-Judgeアライメント

よくある質問

TruthfulQAで測る「真実性」とは？

単なる知識の正確さだけでなく、学習データ中に頻出する誤った通説や俗説に対し、迎合せず事実に基づいた回答を返せるかという性質を指す。

モデルが大きいほどTruthfulQAのスコアは高い？

必ずしもそうではない。モデルが大規模かつ流暢になるほど、学習データ中の誤った通説をよりもっともらしく述べてしまうことがあると報告されている。

参考文献

関連Zenn記事