Re Reference AI

LLM-as-a-Judge

LLM-as-a-Judgeに関連する用語(1件)

LLM-as-a-Judgeは、LLMの出力品質を別のLLMに評価させる手法です。人手評価に比べて低コストかつ高速に大量の評価を行えるため、モデル開発やベンチマークで広く採用されています。

用語一覧

MT-Bench

Multi-Turn Bench

複数ターンにわたる会話でのLLMの応答品質を、強力な別のLLMに採点させて評価するベンチマーク

評価ベンチマークLLM-as-a-Judge