Re Reference AI

評価指標とは?関連技術・用語一覧

評価指標は、モデルの性能を定量的に測るための尺度です。精度・F1スコア・BLEUなどタスクに応じた指標があり、適切な指標選択が正しい性能評価の前提となります。

評価指標に関連する用語(11件)

評価指標関連の技術(1件)

重要度評価

Importance Scoring / Saliency Scoring

モデル内の重み・ニューロン・層が出力にどの程度寄与しているかを定量化し、削減対象の判断に用いる評価

技術モデル圧縮評価指標

評価指標関連の評価(10件)

BLEU

Bilingual Evaluation Understudy

機械翻訳の出力と参照訳とのn-gramの一致度から翻訳品質を自動評価する指標

評価機械翻訳評価指標

ROUGE

Recall-Oriented Understudy for Gisting Evaluation

生成された要約と参照要約との単語の重なりから、要約品質を自動評価する指標群

評価要約評価指標

適合率

Precision

モデルが陽性と予測した事例のうち、実際に正しかった割合を示す評価指標

評価評価指標分類

再現率

Recall

実際に陽性である事例のうち、モデルが正しく検出できた割合を示す評価指標

評価評価指標分類

F1スコア

F1 Score / F値

適合率と再現率の調和平均により、両者をバランスよく評価する指標

評価評価指標分類

Win Rate

勝率

2つのモデル出力を比較した際にどちらがより高い頻度で選好されたかを表す評価指標

評価評価指標選好比較

BERTScore

バートスコア

BERTなどの文脈埋め込みを使い、生成文と参照文のトークン同士の意味的な類似度で品質を測る自動評価指標

評価評価指標NLP

正解率

Accuracy / 精度 / 正答率

全予測のうち正しく当たった割合を表す、分類やベンチマークの最も基本的な評価指標

評価評価指標分類

毒性

Toxicity / 有害性

AIの出力に含まれる暴言・差別・脅迫などの有害な表現の度合いと、それを測る評価の観点

評価安全性評価指標

ハルシネーション率

Hallucination Rate / 幻覚率

LLMの出力のうち、事実と異なる内容や根拠のない内容を含むものの割合を表す評価指標

評価ハルシネーション評価指標

関連するタグ

分類要約モデル圧縮NLP安全性