評価

評価に関連する用語（11件）

評価は、AIモデルやシステムの性能・品質を測定する活動です。ベンチマーク、人間評価、LLM-as-a-Judgeなど多様な手法があり、モデル開発と改善の指針となります。

用語一覧

Red Teaming

攻撃者の視点でモデルやシステムの脆弱性を能動的に発見する、AIの安全性検証手法

LLMを組み込んだアプリケーションの開発・評価・デプロイ・運用を継続的に行うための一連のプラクティスと基盤

LLMジャッジ

人間による評価の代わりに、別のLLMに応答の品質を採点・比較させる評価手法

パープレキシティ / 困惑度

言語モデルが次のトークンをどれだけ的確に予測できているかを示す、確率に基づく評価指標

Elo Rating

対戦結果の勝敗から、相対的な強さを1つの数値で表すレーティングシステム

Model Card

機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式

GPQA Diamond / Graduate-Level Google-Proof Q&A

検索しても解けない大学院レベルの科学問題で構成される、高難度の質問応答ベンチマーク

American Invitational Mathematics Examination

米国の数学コンテストを転用した、LLMの数学的推論能力を測る高難度ベンチマーク

Abstraction and Reasoning Corpus / ARC

少数の例示から図形パターンの変換規則を見抜く、抽象化と推論の能力を測るベンチマーク

HLE / 人類最後の試験

世界中の専門家が作成した数千問の難問で構成される、フロンティアモデル向けの最高難度ベンチマーク

Data Contamination / ベンチマーク汚染 / データコンタミネーション

評価用ベンチマークの問題や解答が学習データへ混入し、評価スコアが実力以上に高く出てしまう問題