適合率とは
Precision
モデルが陽性と予測した事例のうち、実際に正しかった割合を示す評価指標
ひとことで言うと
AIが「正解」と答えたもののうち、実際に合っていた割合を示す指標。
概要
適合率(Precision)とは、分類モデルが「陽性(該当する)」と予測した事例のうち、実際に正しく陽性だった事例の割合を示す評価指標。 誤って陽性と判定してしまう「偽陽性」をどれだけ抑えられているかを表す指標であり、迷惑メール判定のように、誤検知(正常なメールを迷惑メールと誤判定すること)のコストが大きいタスクで重視される。 再現率(Recall)とはトレードオフの関係になることが多く、両者をバランスよく評価するためF1スコアと組み合わせて使われることも多い。 LLMの評価文脈では、RAGが検索してきた文書のうち実際に質問と関連する文書がどれだけの割合を占めるかを測る指標としても使われる。 陽性と判定する基準(閾値)を厳しくするほど適合率は高くなりやすいが、その分見逃しが増えて再現率が下がる傾向にあり、閾値の設定がこのトレードオフを左右する。
背景
分類モデルの性能を、単純な正解率(Accuracy)だけで評価すると、陽性の事例が少ない不均衡なデータセットでは実態を正しく反映しない場合がある。 適合率は、モデルが陽性と判定した予測の信頼度を測る指標として、こうした場面でも有効な評価軸を提供するために整理された。
アーキテクチャ
適合率は、TP(True Positive, 正しく陽性と判定した数)を、TP+FP(False Positive, 誤って陽性と判定した数)で割った値として計算される(Precision = TP / (TP + FP))。
利点
- モデルが陽性と判定した予測のうち、どれだけ信頼できるかを直接示せる
- 誤検知のコストが大きいタスクで、モデルの実用上の適性を評価しやすい
欠点
- 適合率だけを高めようとすると、陽性の判定を絞り込みすぎて見逃し(偽陰性)が増えやすい
- 再現率と合わせて見なければ、モデル全体の性能を正しく評価できない
比較
関連用語
よくある質問
参考文献
- Documentationscikit-learn: Precision, recall and F-measures