Re Reference AI

技術

隠れマルコフモデルとは

Hidden Markov Model / HMM

直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル

言語処理系列モデリング

ひとことで言うと

目に見えない状態の移り変わりを、観測できるデータから推測する統計モデル。

概要

隠れマルコフモデル(HMM)とは、システムが直接観測できない「隠れた状態」の間をマルコフ性(次の状態が直前の状態のみに依存する性質)に従って遷移すると仮定し、各状態から確率的に生成される観測データの系列から、隠れた状態の遷移を推定する統計モデル。 音声認識における音素の遷移や、自然言語処理における品詞タグ付けなど、観測できる系列(音声波形・単語列)の背後にある観測できない構造(発話内容・品詞列)を推定するタスクに、深層学習が普及する以前は広く使われていた。

背景

音声や言語のように、観測データの背後に直接観測できない構造(発話内容や文法的な役割)が存在するタスクを、確率的に扱う枠組みが求められていた。 隠れマルコフモデルは、観測データとその背後にある隠れた状態の遷移をそれぞれ確率分布として明示的にモデル化し、こうした構造を推定するために整備された。

利点

  • 観測データの背後にある隠れた状態を、確率的な枠組みで明示的に推定できる
  • 比較的少ないデータ・計算資源でも学習・推論が可能

欠点

  • 次の状態が直前の状態のみに依存するというマルコフ性の仮定が、実際の言語や音声の長期的な依存関係を十分に捉えられない場合がある
  • 深層学習ベースの系列モデルと比べて、複雑なパターンの表現力に限界がある

比較

  • RNNRNNは、隠れマルコフモデルのマルコフ性の制約を超え、より長い依存関係を学習できるようにした系列モデル
  • NLP隠れマルコフモデルは、深層学習以前の自然言語処理における品詞タグ付け等のタスクで広く使われていた

関連用語

RNNNLP

関連Zenn記事