Mambaとは
Selective State Space Model
選択的状態空間モデルに基づき、系列長に線形の計算量で長い系列を処理できるアーキテクチャ
ひとことで言うと
Transformerの「文が長くなるほど計算が急増する」弱点を避け、長い文章を軽い計算で処理できる新しい仕組み。
概要
Mambaとは、選択的状態空間モデル（Selective SSM）に基づく系列モデリングのアーキテクチャを指す。 Transformerの自己注意機構は系列長の2乗に比例する計算量を要するのに対し、Mambaは系列長に線形の計算量で処理でき、長い系列を効率よく扱える。 入力に応じて状態の更新を変える選択機構の導入により、従来の状態空間モデルの弱点だった内容依存の処理を可能にした。 Transformerの代替や、注意機構と組み合わせたハイブリッド構成の要素として、言語・音声・ゲノムなどの長系列タスクで採用が広がっている。
歴史
2023年12月にAlbert GuとTri Daoが論文「Mamba: Linear-Time Sequence Modeling with Selective State Spaces」で発表した。
比較
- Transformer — Transformerが系列長の2乗に比例する自己注意で全トークン間の関係を捉えるのに対し、Mambaは線形計算量の状態空間モデルで系列を逐次的に圧縮しながら処理する
- State Space Model — 状態空間モデルの枠組みに、入力内容に応じて状態の更新を変える選択機構を加えたものがMamba