Re Reference AI

Transformerとは?関連技術・用語一覧

Transformerは、Attention機構を中核とするニューラルネットワークアーキテクチャです。2017年の登場以降、GPTやBERTをはじめ現代のほぼすべてのLLMの基盤となっています。

Transformerに関連する用語(18件)。定義・仕組みはTransformerの用語ページで解説。

Transformer関連のモデル(3件)

LLM

大規模言語モデル / Large Language Model

大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク

モデルNLPTransformer深層学習

BERT

Bidirectional Encoder Representations from Transformers

文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル

モデルNLPTransformer事前学習

FocoNet

複数観測点の地震波形データからTransformerで震源メカニズム(発震機構解)を推定する機械学習モデル

モデルTransformer地震学

Transformer関連のアーキテクチャ(14件)

Attention

注意機構 / Attention Mechanism

入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構

アーキテクチャ深層学習Transformer

Encoder

エンコーダ

入力系列を、意味を圧縮した内部表現(コンテキストベクトル)へ変換するニューラルネットワークの構成要素

アーキテクチャ系列モデリングTransformer

Self-Attention

自己注意機構

同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態

アーキテクチャTransformer深層学習

RoPE

Rotary Position Embedding / 回転位置埋め込み

クエリ・キーベクトルを位置に応じて回転させることで、Transformerに相対的な位置情報を組み込む位置エンコーディング手法

アーキテクチャTransformer位置エンコーディング

FlashAttention

GPUのメモリ階層を意識した計算順序により、通常のAttentionと同じ結果を高速かつ省メモリに計算するアルゴリズム

アーキテクチャTransformer推論最適化

GQA

Grouped-Query Attention

複数のクエリヘッドをいくつかのグループに分け、グループ内でキー・バリューヘッドを共有するAttentionの構造

アーキテクチャTransformer推論最適化

MQA

Multi-Query Attention

全てのクエリヘッドが単一のキー・バリューヘッドを共有し、KVキャッシュを最小限に抑えるAttentionの構造

アーキテクチャTransformer推論最適化

Sliding Window Attention

スライディングウィンドウAttention

各トークンが固定サイズの近傍ウィンドウ内のみを参照することで、計算量を系列長に対して線形に抑えるAttentionの手法

アーキテクチャTransformer推論最適化

Mixture-of-Depths

MoD

各トークンごとに処理へ使う層の数を動的に決め、計算量を必要最小限に絞るTransformerの設計

アーキテクチャTransformer推論最適化

ViT

Vision Transformer / ビジョントランスフォーマー

画像をパッチの系列に分割してTransformerで処理する画像認識アーキテクチャ

アーキテクチャ画像認識Transformer

Decoder

デコーダ / デコーダオンリー

内部表現から出力系列を生成する側のネットワーク。デコーダのみを積んだ構成が現在のLLMの主流

アーキテクチャTransformer系列モデリング

位置エンコーディング

Positional Encoding / 位置埋め込み

語順を区別できない自己注意機構へ、トークンの位置情報を与える仕組み

アーキテクチャTransformer位置エンコーディング

Feed-Forward Network

FFN / フィードフォワードネットワーク / 順伝播型ネットワーク

Transformerの各層でトークン単位に適用される、2層の全結合層と活性化関数からなるサブレイヤー

アーキテクチャTransformer深層学習

Multi-Head Attention

MHA / マルチヘッドアテンション

Attentionを複数のヘッドに分けて並列に計算し、異なる観点の関係を同時に捉えて結合する仕組み

アーキテクチャTransformer深層学習

Transformer関連の技術(1件)

マスキング

Masking / Attention Mask / アテンションマスク

Attentionの計算で特定の位置を参照させないようにしたり、学習時にトークンを隠して予測対象にしたりする処理

技術Transformer学習

Transformer関連の比較

BERT vs LLM

BERTはTransformerのエンコーダのみを用い、双方向の文脈参照によって文の理解に特化した事前学習済みモデル。LLM(大規模言語モデル)は、GPT系に代表されるデコーダのみの自己回帰型アーキテクチャを中心に、テキスト生成を含む幅広いタスクをこなす大規模モデルの総称。BERTも広義にはLLMの一種と位置づけられることがあるが、一般的な文脈でLLMという場合は生成能力を持つGPT系以降のモデルを指すことが多く、両者は「理解特化」と「生成中心の汎用モデル」という異なる方向性を代表する存在として対比される。

BERTLLM

Transformer関連の特集記事

RAG完全ガイド

RAG(検索拡張生成)の仕組みを、チャンキング・Embedding・ベクトルデータベース・ハイブリッド検索・リランカー・GraphRAG・Agentic RAGまで構成要素ごとに整理し、各用語の詳細ページへたどれるガイド。

技術

Transformer関連の年表

GPTの歴史

OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。

モデル8件のイベント / 2018 - 2025

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

Transformerの歴史

自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。

アーキテクチャ7件のイベント / 2017 - 2023

関連するタグ

深層学習推論最適化NLP系列モデリング事前学習画像認識学習