時空間特徴とは
Spatiotemporal Features
動画データから空間的なパターンと時間的な変化を同時に捉えた特徴表現
概要
時空間特徴とは、動画データを対象に、各フレーム内の空間的なパターン(物体の形状・配置等)と、フレーム間の時間的な変化(動きの推移)を同時に捉えた特徴表現を指す。 3D畳み込み(3D CNN)によりフレームの空間軸と時間軸をまとめて畳み込む手法や、フレームごとにCNNで空間特徴を抽出した後にRNN・Transformerで時間方向の依存関係を学習する2段階の手法などで獲得される。 アクション認識や動画理解のタスクにおいて、動きの情報を明示的に捉えるための基盤的な特徴表現として利用される。
比較
- アクション認識 — 時空間特徴は、アクション認識のように動画中の動きを識別するタスクを支える基盤的な特徴表現