Re Reference AI

Attentionとは?関連技術・用語一覧

Attention(注意機構)は、入力系列の中でどの部分に注目すべきかを動的に計算する仕組みです。Transformerアーキテクチャの中核をなし、現代のLLMの性能を支える基盤技術です。

Attentionに関連する用語(3件)。定義・仕組みはAttentionの用語ページで解説。

Attention関連のアーキテクチャ(2件)

Transformer

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

アーキテクチャ深層学習AttentionNLP

MLA

Multi-head Latent Attention / マルチヘッド潜在注意

キーとバリューを低ランクの潜在ベクトルへ圧縮して保持し、KVキャッシュを削減する注意機構

アーキテクチャAttention推論最適化

Attention関連の技術(1件)

KVキャッシュ

KV Cache / Key-Value Cache

自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み

技術推論最適化Attention

Attention関連の年表

Transformerの歴史

自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。

アーキテクチャ7件のイベント / 2017 - 2023

GPTの歴史

OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。

モデル8件のイベント / 2018 - 2025

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

関連するタグ

推論最適化深層学習NLP