Re Reference AI
サンプリングに関連する用語(3件)
サンプリングは、LLMが次のトークンを確率分布から選択する方法です。temperatureやtop-pなどのパラメータで出力の多様性と一貫性のバランスを制御します。
温度パラメータ
LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ
Nucleus Sampling / 核サンプリング
累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法
Top-k Sampling
確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法