OOV（未知語）とは
Out-of-Vocabulary / 未知語 / 語彙外
モデルやトークナイザーの語彙に含まれていない単語。また、それにより入力を正しく表現できない問題
最終更新:
概要
OOV(Out-of-Vocabulary)は、語彙に含まれていない単語、またはそうした単語が入力に現れる問題を指す。単語単位で語彙を作るモデルでは、学習時に出現しなかった単語や新語、固有名詞、タイプミスなどがOOVになり、[UNK]のような未知語トークンにまとめて置き換えられる。その結果、単語の情報が失われ、翻訳や分類の精度が落ちる。 word2vecなど単語単位の埋め込みでも、語彙外の単語にはベクトルを割り当てられない。文字のn-gramから単語ベクトルを合成するfastTextなどは、この問題への対策の1つ。 現在のLLMの多くは、BPEなどのサブワード分割やバイト単位まで分解できるトークナイザーを使う。そのため、どんな文字列も既知のトークンの組み合わせで表現でき、OOVはほぼ発生しない。ただし、学習データにほとんど含まれない単語は細かく分割され、意味を捉えにくくなる問題は残る。