Re Reference AI
言語処理に関連する用語(3件)
言語処理は、テキストデータの解析・変換・生成を行う技術全般です。トークナイゼーションなどの基礎処理から、翻訳・要約などの高度なタスクまでを含みます。
Natural Language Processing / 自然言語処理
コンピュータに人間の言語を理解・生成・分析させるための技術分野
Nグラム
テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法
Hidden Markov Model / HMM
直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル