LLM（大規模言語モデル）とは
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
最終更新:
ひとことで言うと
大量の文章を読んで学習し、質問への回答や文章の続きを作れるようになったAI。ChatGPTやClaudeの中身がこれにあたる。
概要
大規模言語モデル(LLM)は、Transformerアーキテクチャに基づき、書籍・Webテキスト・コードなど大規模かつ多様なコーパスで学習されたニューラルネットワーク。 学習過程で次に来る単語を予測するタスクを繰り返すことで、語彙・文法・文脈的な意味関係だけでなく、常識的な知識や推論パターンまで内部表現として獲得する。 パラメータ数と学習データ量を増やすほど性能が滑らかに向上するスケーリング則が知られており、この性質が近年のLLM開発競争の背景にある。 GPT・Claude・Gemini・Llamaなど代表的なモデルは、単一の汎用モデルとして文章生成・要約・翻訳・コード生成・対話など幅広いタスクをこなせる点が特徴で、タスクごとに専用モデルを訓練する従来のアプローチを大きく置き換えつつある。
背景
LLMはNLP向け深層学習の発展から生まれた。 モデルパラメータ数と学習データ量を同時にスケールさせることで、few-shot推論や指示追従といった創発的能力を引き出す。
歴史
2018年: GPTとBERTが大規模事前学習を導入し、「大規模言語モデル(LLM)」という呼称が定着し始める。 2020年: GPT-3が1750億パラメータでfew-shot学習を実証。 2022年: ChatGPTが指示チューニング済みLLMを普及。 2023-2024年: オープンウェイトモデル(Llama, Mistral)とマルチモーダルLLMが増加。
アーキテクチャ
多くのLLMはデコーダのみのTransformerスタックを使用。 自己注意層、位置エンコーディング、フィードフォワード層で構成され、次トークン予測で学習する。
ワークフロー
大規模テキストコーパスでの事前学習 → 指示チューニング → アライメント(RLHF/DPO) → 推論APIまたはローカルランタイムへのデプロイ。
コード例
基本的な補完リクエスト
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "Explain LLMs in one sentence."}],
)
print(response.choices[0].message.content)利点
- タスク固有の学習なしに多くのNLPタスクへ汎化できる
- few-shot・zero-shotで高い性能を発揮
- ツール・ファインチューニング・エージェントなどエコシステムの急速な拡大
欠点
- 学習・推論の計算コストとエネルギーコストが高い
- ハルシネーション(事実誤認)を起こしやすい
- コーパス全体に比べコンテキストウィンドウが限られる
比較
- Transformer — LLMは一般にTransformerアーキテクチャの上に構築される
- RAG — RAGは外部知識検索によりLLMを拡張する
- NLP — LLMは現在のNLPタスクの多くを単一モデルで解ける汎用アプローチとして主流になっている
- GPU — LLMの大規模な事前学習は、多数のGPUを用いた分散学習によって支えられている
- ハルシネーション — LLMは事実に基づかない内容をもっともらしく生成するハルシネーションを起こすことがある
- トークン — LLMは入出力をトークン列として扱い、次トークン予測を通じて学習される
- BERT — BERTは双方向エンコーダによる言語理解に特化したモデルで、生成に強い自己回帰型LLMと対比される
- SLM — SLMはLLMよりパラメータ数を抑え、エッジ実行やコスト効率を優先したモデル
- コンテキストウィンドウ — コンテキストウィンドウはLLMが一度に処理できる入出力量の上限を規定する
- Embedding — LLM内部では入力トークンを埋め込みベクトルに変換してからTransformerで処理する
- プロンプト — LLMはプロンプトの内容に応じて出力を生成する
- 推論モデル — 推論モデルはLLMの一種で、複雑な推論タスク向けに最適化されている
- Temperature — Temperatureは、LLMの出力サンプリングのランダム性を調整するパラメータ
- MoE — MoEはLLMのフィードフォワード層に適用され、総パラメータ数と計算コストのトレードオフを改善する
- AIエージェント — AIエージェントは、LLMを推論エンジンとして中核に据えたシステム
- 推論 — 推論は、学習済みのLLMへ入力を与え出力を計算するフェーズ
- GPT — GPTは、LLMという概念を広く一般に普及させた代表的なモデルファミリーの1つ
- Claude — Claudeは、安全性とアライメントを重視して開発される代表的なLLMファミリー
- Gemini — Geminiは、マルチモーダル処理を特徴とするGoogleのLLMファミリー
- Llama — Llamaは、オープンウェイトのLLMエコシステムを広げた代表的なモデルファミリー
- MMLU — MMLUは、LLMの性能比較で広く参照される代表的なベンチマークの1つ
- HumanEval — HumanEvalは、LLMのコード生成能力を測定する代表的なベンチマーク
- Chatbot Arena — Chatbot Arenaは、主要なLLM間の相対的な性能を比較する代表的な評価プラットフォーム
関連する用語
よくある質問
LLMの規模はどれくらい？
モデルファミリーによって数十億から数兆パラメータまで幅がある。
参考文献
- Research PaperAttention Is All You Need
- BlogOpenAI GPT-4 Technical Report
関連する年表
関連する比較
BERT vs LLM
BERTはTransformerのエンコーダのみを用い、双方向の文脈参照によって文の理解に特化した事前学習済みモデル。LLM(大規模言語モデル)は、GPT系に代表されるデコーダのみの自己回帰型アーキテクチャを中心に、テキスト生成を含む幅広いタスクをこなす大規模モデルの総称。BERTも広義にはLLMの一種と位置づけられることがあるが、一般的な文脈でLLMという場合は生成能力を持つGPT系以降のモデルを指すことが多く、両者は「理解特化」と「生成中心の汎用モデル」という異なる方向性を代表する存在として対比される。
生成AI vs LLM
生成AIはテキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称、LLMは大規模なテキストコーパスで学習し言語を予測・生成するニューラルネットワーク。LLMは生成AIの一種であり、生成AIには画像生成の拡散モデルなどLLM以外の技術も含まれる。両者は並列の選択肢ではなく、包含関係にある。
Transformer vs LLM
Transformerは自己注意機構(Self-Attention)で系列中のトークン間の関係をモデル化するニューラルネットワークアーキテクチャ、LLMはそのアーキテクチャを大規模なパラメータ数とコーパスで学習した言語モデル。Transformerが「設計図」、LLMがその設計図に基づいて大規模に学習された「モデル」という関係にある。
LLM vs GPT
LLMは大規模なテキストコーパスで学習し言語を予測・生成するモデルの総称、GPTはOpenAIが開発するLLMのモデルファミリーの名称。GPTはLLMの一種であり、ClaudeやGemini、LlamaなどもLLMに含まれる。GPTはLLMという概念を広く一般に普及させた代表的なモデルファミリーの1つとなっている。