系列モデリング
系列モデリングに関連する用語（11件）
系列モデリングは、時系列やテキストなど順序を持つデータのパターンを学習する技術です。RNNからTransformer、状態空間モデルへと発展し、言語モデルの根幹をなしています。
用語一覧
RNN
Recurrent Neural Network / 再帰型ニューラルネットワーク
隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク
LSTM
Long Short-Term Memory / 長短期記憶
ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク
Encoder
エンコーダ
入力系列を、意味を圧縮した内部表現(コンテキストベクトル)へ変換するニューラルネットワークの構成要素
BPTT
Backpropagation Through Time / 通時的誤差逆伝播法
RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム
GRU
Gated Recurrent Unit
LSTMを簡略化し、更新ゲートとリセットゲートの2つで情報の保持・忘却を制御するRNNのユニット構造
時系列データ
Time Series Data
時間の経過に沿って一定間隔または連続的に観測・記録された、順序に意味のあるデータ
Seq2Seq
Sequence-to-Sequence
入力系列を、長さの異なる別の系列へ変換するEncoder-Decoder型のニューラルネットワークアーキテクチャ
隠れマルコフモデル
Hidden Markov Model / HMM
直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル
State Space Model
SSM / 状態空間モデル
系列データを連続的な状態変数の遷移として捉え、系列長に対して線形の計算量で処理できるモデルアーキテクチャ
Mamba
Selective State Space Model
選択的状態空間モデルに基づき、系列長に線形の計算量で長い系列を処理できるアーキテクチャ
Decoder
デコーダ / デコーダオンリー
内部表現から出力系列を生成する側のネットワーク。デコーダのみを積んだ構成が現在のLLMの主流