評価

MT-Benchとは

Multi-Turn Bench

複数ターンにわたる会話でのLLMの応答品質を、強力な別のLLMに採点させて評価するベンチマーク

ひとことで言うと

何回かやり取りする会話をAI同士でさせて、その会話の質を別のAIに採点させるテスト。

概要

MT-Benchは、単発の質問応答ではなく、複数ターンにわたる対話形式のやり取りにおけるLLMの応答品質を評価するために設計されたベンチマーク。執筆・ロールプレイ・推論・数学・コーディングなど幅広いカテゴリの複数ターン会話に対する応答を、GPT-4など強力な別のLLMに採点させるLLM-as-a-Judgeの枠組みを採用している。 1ターン目の質問への応答だけでなく、その応答を踏まえた2ターン目の追加質問への応答も評価対象に含めることで、文脈を維持しながら一貫した対話を続けられるかという、単発の質問応答ベンチマークでは測りにくい能力を評価できる。提案元の論文では、GPT-4を審査役に使った採点結果が、人間の評価者による採点結果と高い一致率を示すことが報告され、LLM-as-a-Judgeという評価手法自体の妥当性を検証する事例としても引用される。 Chatbot Arenaと同じ研究グループによって提案され、両者は人間の投票とLLMによる自動採点という異なる角度からLLMの対話品質を補完的に評価する枠組みとして併用されることが多い。

背景

従来のベンチマークの多くは単発の質問応答や選択式のタスクを扱っており、複数ターンにわたる自然な対話としての品質を評価する標準的な手法が不足していた。 MT-Benchは、実際のチャットボット利用に近い複数ターンの対話シナリオを用意し、LLM-as-a-Judgeを使って効率的かつ大規模な評価を実現する目的で提案された。

歴史

2023年: ZhengらがMT-BenchとChatbot Arenaを同じ論文「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」で発表。 2023年以降: 多くのLLM開発元が、新モデルの対話性能を示す指標としてMT-Benchのスコアを報告するように。

アーキテクチャ

80問の複数ターン質問が、執筆・ロールプレイ・抽出・推論・数学・コーディング・STEM知識・人文社会科学の8カテゴリに均等に分けて用意されており、各質問は1ターン目の質問と、それを踏まえた2ターン目の追加質問から構成される。評価には、1つの応答を絶対評価するSingle-answer Gradingと、2つのモデルの応答を比較するPairwise Comparisonの2種類の審査プロンプトテンプレートが用意されている。

ワークフロー

執筆・推論・コーディングなど複数のカテゴリにわたる1ターン目の質問セットを用意する。評価対象のLLMに1ターン目の質問へ回答させ、その回答を踏まえた2ターン目の追加質問にも回答させる。両方のターンの応答を、GPT-4など審査役のLLMへ評価基準に沿って採点させ、平均スコアを算出する。

コード例

FastChatでのMT-Bench実行

python gen_model_answer.py --model-path your-model --model-id your-model
python gen_judgment.py --model-list your-model --judge-model gpt-4

利点

複数ターンにわたる文脈維持能力など、単発の質問応答では測れない対話品質を評価できる
LLM-as-a-Judgeにより、人手評価と比べて低コストかつ高速にスコアを算出できる
審査役LLMの採点結果が人間の評価と高い一致率を示すことが報告されており、評価手法として一定の妥当性が確認されている

欠点

審査役に使うLLMの癖や偏りが、採点結果に影響する可能性がある
評価対象の応答が審査役LLMと同系統の場合、自己選好バイアスを起こしやすい
質問セットの内容やカテゴリの偏りが、評価結果の一般化可能性に影響する

比較

Chatbot Arena — MT-BenchがLLMによる自動採点を使うのに対し、Chatbot Arenaは人間の実際の投票による評価をする
LLM-as-a-Judge — MT-Benchは、LLM-as-a-Judgeという評価手法を複数ターン会話の評価に適用した代表的なベンチマーク
MMLU — MMLUが選択式の知識問題を扱うのに対し、MT-Benchは自由記述形式の複数ターン対話を評価する

よくある質問

MT-BenchとChatbot Arenaの違いは？

MT-Benchは複数ターンの会話に対しLLMを審査役として自動採点するのに対し、Chatbot Arenaは実際の人間ユーザーの投票によってモデル同士を比較する。同じ研究グループが提案し、補完的に使われることが多い。

MT-Benchはなぜ複数ターンを評価する？

実際のチャットボット利用では複数回のやり取りが一般的なため、1ターン目の応答だけでなく、文脈を踏まえた2ターン目の応答品質まで評価することで、より実運用に近い対話能力を測るため。

参考文献

Research PaperJudging LLM-as-a-Judge with MT-Bench and Chatbot Arena
GitHublm-sys/FastChat