Transformer vs LLM
Transformerは自己注意機構(Self-Attention)で系列中のトークン間の関係をモデル化するニューラルネットワークアーキテクチャ、LLMはそのアーキテクチャを大規模なパラメータ数とコーパスで学習した言語モデル。Transformerが「設計図」、LLMがその設計図に基づいて大規模に学習された「モデル」という関係にある。
3行で違いを説明
- Transformerはニューラルネットワークのアーキテクチャ(構造)を指す。
- LLMはTransformerを大規模なパラメータ数とコーパスで学習した言語モデルを指す。
- TransformerはLLM以外にも、画像(Vision Transformer)・音声・マルチモーダルなどに使われる。
- 現在の代表的なLLM(GPT・Claude・Gemini・Llama等)は、いずれもTransformerに基づく。
Comparison Table
| Item | Transformer | LLM |
|---|---|---|
| Scope | ニューラルネットワークのアーキテクチャ | Transformerを大規模に学習した言語モデル |
| Originator | Vaswaniら(Google) | 特定の提案者はない(GPT・BERT以降に呼称が定着) |
| Release | 2017年(「Attention Is All You Need」) | 2018年のGPT・BERT以降に普及 |
| 適用領域 | 自然言語処理・画像・音声・マルチモーダルなど | 主に言語(マルチモーダルLLMは画像等の入力にも対応) |
| 代表例 | エンコーダ・デコーダ型、エンコーダ型(BERT)、デコーダ型(GPT)の各構成 | GPT、Claude、Gemini、Llamaなど |
Architecture
Feature Comparison
| Feature | Transformer | LLM |
|---|---|---|
| 学習済みの重みを持つ | — | ○ |
| 言語以外のデータへの適用 | ○ | マルチモーダルLLMのみ |
| 単体で文章生成に使える | — | ○ |
Advantages
Disadvantages
Transformer
- 自己注意の計算量が系列長の2乗に比例し、長い入力で計算コストが増える
LLM
- 学習と推論に大規模な計算資源が必要
- ハルシネーションが起こる
- 学習時点以降の情報を持たない
Best Use Cases
Migration
両者は抽象度が異なるため、乗り換えの関係にはない。LLMを利用する立場ではTransformerの内部構造を意識する場面は少ないが、コンテキスト長の制約や推論コストといったLLMの特性の多くはTransformerの設計に由来する。
FAQ
LLMはすべてTransformerで作られている?
現在の代表的なLLMの多くはTransformerに基づく。ただし、Mambaのような状態空間モデルなど、Transformer以外のアーキテクチャやそれとの組み合わせで構築された言語モデルも研究・公開されている。
参考文献
- Research PaperAttention Is All You Need
- Research PaperLanguage Models are Few-Shot Learners
関連する比較
BERT vs LLM
BERTはTransformerのエンコーダのみを用い、双方向の文脈参照によって文の理解に特化した事前学習済みモデル。LLM(大規模言語モデル)は、GPT系に代表されるデコーダのみの自己回帰型アーキテクチャを中心に、テキスト生成を含む幅広いタスクをこなす大規模モデルの総称。BERTも広義にはLLMの一種と位置づけられることがあるが、一般的な文脈でLLMという場合は生成能力を持つGPT系以降のモデルを指すことが多く、両者は「理解特化」と「生成中心の汎用モデル」という異なる方向性を代表する存在として対比される。
生成AI vs LLM
生成AIはテキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称、LLMは大規模なテキストコーパスで学習し言語を予測・生成するニューラルネットワーク。LLMは生成AIの一種であり、生成AIには画像生成の拡散モデルなどLLM以外の技術も含まれる。両者は並列の選択肢ではなく、包含関係にある。
LLM vs GPT
LLMは大規模なテキストコーパスで学習し言語を予測・生成するモデルの総称、GPTはOpenAIが開発するLLMのモデルファミリーの名称。GPTはLLMの一種であり、ClaudeやGemini、LlamaなどもLLMに含まれる。GPTはLLMという概念を広く一般に普及させた代表的なモデルファミリーの1つとなっている。