HELMとは

Holistic Evaluation of Language Models

スタンフォード大学CRFMが開発した、多数のシナリオと複数の評価軸で言語モデルを横断的に評価するフレームワーク

最終更新: 2026-10-06

概要

HELM(Holistic Evaluation of Language Models)は、スタンフォード大学のCenter for Research on Foundation Models(CRFM)が開発した言語モデルの評価フレームワーク。単一のベンチマークの正答率だけでモデルを比べるのではなく、質問応答、要約、情報検索、感情分析などの多数の「シナリオ」に対して、正確性だけでなく、キャリブレーション、頑健性、公平性、バイアス、有害性、効率など複数の指標で評価する点が特徴。 多数のモデルを同じプロンプトと条件で評価し、結果をWebサイトのリーダーボードで公開している。評価用のコードはオープンソースで、利用者が自分でモデルやシナリオを追加して評価できる。 その後、最新モデル向けのHELM Capabilitiesや、安全性に焦点を当てたHELM Safety、画像と言語を扱うモデル向けのVHELMなど、目的別のリーダーボードにも展開されている。

歴史

2022年にLiangらスタンフォード大学CRFMの研究者が論文「Holistic Evaluation of Language Models」を公開した。

利点

• 正確性以外に公平性や頑健性、有害性なども含めて比較できる
• 多数のモデルを同じ条件で評価するため、結果を比較しやすい
• 評価コードが公開されており、評価を再現・拡張できる

欠点

• シナリオと指標が多く、全体を実行するには計算コストがかかる
• 公開されたベンチマークの問題が学習データに含まれると、スコアが実力より高く出るおそれがある

関連する用語

参考文献

• Research PaperHolistic Evaluation of Language Models (Liang et al., 2022)
• Official WebsiteHELM (Stanford CRFM)
• GitHubstanford-crfm/helm