語彙（ボキャブラリー）とは
Vocabulary / ボキャブラリー / Vocab
トークナイザーとモデルが扱えるトークンの集合と、各トークンに割り当てたIDの対応表
最終更新:
概要
語彙(Vocabulary)は、トークナイザーが出力しうるトークンの一覧と、それぞれに割り当てられた整数IDの対応表。テキストはトークナイザーで語彙中のトークンIDの列に変換され、モデルはそのIDを埋め込み層でベクトルに変換して処理する。出力側では、語彙の全トークンに対する確率分布をSoftmaxで計算し、次のトークンを選ぶ。 語彙に含まれるトークンの数を語彙サイズと呼ぶ。語彙サイズを大きくすると、1つのテキストを少ないトークン数で表せるため系列が短くなるが、埋め込み層と出力層のパラメータが増える。例えばGPT-2は約5万、Llama 3は約12.8万の語彙を持つ。多言語に対応するモデルほど大きな語彙を持つ傾向がある。 語彙は通常、学習コーパスからBPEなどのサブワード分割アルゴリズムで作られる。[PAD]や[BOS]、[EOS]などの特殊トークンも語彙の一部として登録される。