Attention

Attentionに関連する用語（3件）

Attention（注意機構）は、入力系列の中でどの部分に注目すべきかを動的に計算する仕組みです。Transformerアーキテクチャの中核をなし、現代のLLMの性能を支える基盤技術です。

用語一覧

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

KV Cache / Key-Value Cache

自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み

Multi-head Latent Attention / マルチヘッド潜在注意

キーとバリューを低ランクの潜在ベクトルへ圧縮して保持し、KVキャッシュを削減する注意機構