Re Reference AI

言語モデル

言語モデルに関連する用語(1件)

言語モデルは、テキストの出現確率をモデル化し、次に来る単語やトークンを予測する仕組みです。LLMの基礎となる概念で、この予測能力の延長線上に高度な言語理解・生成が実現されています。

用語一覧

Perplexity

パープレキシティ / 困惑度

言語モデルが次のトークンをどれだけ的確に予測できているかを示す、確率に基づく評価指標

評価評価言語モデル