Re Reference AI

言語処理

言語処理に関連する用語(3件)

言語処理は、テキストデータの解析・変換・生成を行う技術全般です。トークナイゼーションなどの基礎処理から、翻訳・要約などの高度なタスクまでを含みます。

用語一覧

NLP

Natural Language Processing / 自然言語処理

コンピュータに人間の言語を理解・生成・分析させるための技術分野

技術言語処理人工知能

N-gram

Nグラム

テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法

技術言語処理トークナイゼーション

隠れマルコフモデル

Hidden Markov Model / HMM

直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル

技術言語処理系列モデリング