評価指標とは?関連技術・用語一覧
評価指標は、モデルの性能を定量的に測るための尺度です。精度・F1スコア・BLEUなどタスクに応じた指標があり、適切な指標選択が正しい性能評価の前提となります。
評価指標に関連する用語(11件)
評価指標関連の技術(1件)
評価指標関連の評価(10件)
BLEU
Bilingual Evaluation Understudy
機械翻訳の出力と参照訳とのn-gramの一致度から翻訳品質を自動評価する指標
評価機械翻訳評価指標
ROUGE
Recall-Oriented Understudy for Gisting Evaluation
生成された要約と参照要約との単語の重なりから、要約品質を自動評価する指標群
評価要約評価指標
適合率
Precision
モデルが陽性と予測した事例のうち、実際に正しかった割合を示す評価指標
評価評価指標分類
再現率
Recall
実際に陽性である事例のうち、モデルが正しく検出できた割合を示す評価指標
評価評価指標分類
F1スコア
F1 Score / F値
適合率と再現率の調和平均により、両者をバランスよく評価する指標
評価評価指標分類
Win Rate
勝率
2つのモデル出力を比較した際にどちらがより高い頻度で選好されたかを表す評価指標
評価評価指標選好比較
BERTScore
バートスコア
BERTなどの文脈埋め込みを使い、生成文と参照文のトークン同士の意味的な類似度で品質を測る自動評価指標
評価評価指標NLP
正解率
Accuracy / 精度 / 正答率
全予測のうち正しく当たった割合を表す、分類やベンチマークの最も基本的な評価指標
評価評価指標分類
毒性
Toxicity / 有害性
AIの出力に含まれる暴言・差別・脅迫などの有害な表現の度合いと、それを測る評価の観点
評価安全性評価指標
ハルシネーション率
Hallucination Rate / 幻覚率
LLMの出力のうち、事実と異なる内容や根拠のない内容を含むものの割合を表す評価指標
評価ハルシネーション評価指標