Re Reference AI

評価

Chatbot Arenaとは

LMArena

人間の実際の投票による対戦形式で、LLM同士の相対的な性能を評価するベンチマークプラットフォーム

ベンチマーク人間評価

ひとことで言うと

人が実際に投票して、複数のAI同士の答えを比べ合う評価の仕組み。

概要

Chatbot Arena(チャットボットアリーナ、現LMArena)とは、カリフォルニア大学バークレー校のLMSYS等が運営する、人間の投票によってLLM同士の相対的な性能を評価するオープンなプラットフォーム。 利用者は同じ質問に対する2つの匿名モデルの回答を見比べてどちらが良いかを投票し、その結果をチェスのレーティングで使われるEloレーティングのような統計手法で集計することで、モデル間の相対的な強さをランキングとして算出する。 自動採点のベンチマークとは異なり、実際の人間の主観的な好みを反映した評価を得られる点が特徴。 特定のベンチマーク問題に対する最適化(いわゆるベンチマーク特化のチューニング)が起きにくく、実際のユーザー体験に近い形でモデルを相対評価できる点は、他の自動評価ベンチマークにはない強みとされる。

背景

MMLU等の自動採点ベンチマークは客観的な指標を提供する一方、実際のユーザーが感じる「回答の分かりやすさ」「自然さ」「好み」といった主観的な質を捉えきれないという課題があった。 Chatbot Arenaは、実際の人間による相対比較を通じてこの主観的な評価を定量化するために開発された。

歴史

2023年: カリフォルニア大学バークレー校のLMSYS Orgが、匿名・ランダムな2モデル比較による評価プラットフォームとしてChatbot Arenaを公開。 多くの主要なLLMベンダーが結果を引用する、影響力のあるベンチマークとなった。 2024年以降、対象を拡大しLMArenaへと展開している。

アーキテクチャ

利用者が入力した質問に対し、ランダムに選ばれた匿名の2つのモデルがそれぞれ回答を生成する。 利用者はどちらの回答が良いかを投票し、この大量の対戦結果をEloレーティング(またはその発展形)で集計することで、モデルごとの相対的なレーティングを算出する。

ワークフロー

利用者が質問を入力 → ランダムに選ばれた匿名の2モデルがそれぞれ回答を生成 → 利用者はどちらが良いかを投票(または引き分け) → 大量の対戦結果をEloレーティングで集計 → モデルごとのランキングとして公開。

利点

  • 実際の人間の主観的な好みに基づく、実利用に近い評価が得られる
  • 特定のベンチマーク問題への最適化(過学習)が起きにくい、実際の自由な質問に基づく評価
  • 無料で誰でも投票に参加でき、多様な利用者の声を集約できる

欠点

  • 投票者の好みや質問の傾向は偏りやすく、母集団の代表性には注意を要する
  • 自動採点のベンチマークと比べ、評価結果が集まるまでに時間がかかる
  • 回答の長さや文体等、内容の正確さ以外の見た目の印象が投票結果に影響する可能性が指摘されている

比較

  • MMLU — MMLUが自動採点による客観的な知識評価であるのに対し、Chatbot Arenaは人間の主観的な好みに基づく相対評価
  • LLM — Chatbot Arenaは、主要なLLM間の相対的な性能を比較する代表的な評価プラットフォーム

関連用語

MMLULLMLLM-as-a-JudgeMT-BenchEloレーティング

よくある質問

Chatbot Arenaのレーティングは絶対的な性能指標？

いいえ。 投票者の主観や質問内容に依存する相対的な指標であり、特定分野の専門性や安全性等、別の観点は別途評価する必要がある。

Chatbot Arenaには誰でも投票に参加できる？

はい。 lmarena.ai上で誰でも無料で質問を入力し、匿名の2モデルの回答を比較して投票できる。

参考文献

関連Zenn記事