Re Reference AI
言語モデルに関連する用語(1件)
言語モデルは、テキストの出現確率をモデル化し、次に来る単語やトークンを予測する仕組みです。LLMの基礎となる概念で、この予測能力の延長線上に高度な言語理解・生成が実現されています。
パープレキシティ / 困惑度
言語モデルが次のトークンをどれだけ的確に予測できているかを示す、確率に基づく評価指標