モデル

LLMとは

Q: LLMとチャットボットの違いは？

LLMは基盤となるモデルそのもの。 チャットボットはLLMの上にプロンプト設計・メモリ・UIを追加したアプリケーション。

大規模言語モデル / Large Language Model

大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク

NLP Transformer 深層学習

ひとことで言うと

大量の文章を読んで学習し、質問への回答や文章の続きを作れるようになったAI。ChatGPTやClaudeの中身がこれにあたる。

概要

大規模言語モデル(LLM)は、Transformerアーキテクチャに基づき、書籍・Webテキスト・コードなど大規模かつ多様なコーパスで学習されたニューラルネットワーク。学習過程で次に来る単語を予測するタスクを繰り返すことで、語彙・文法・文脈的な意味関係だけでなく、常識的な知識や推論パターンまで内部表現として獲得する。パラメータ数と学習データ量を増やすほど性能が滑らかに向上するスケーリング則が知られており、この性質が近年のLLM開発競争の背景にある。 GPT・Claude・Gemini・Llamaなど代表的なモデルは、単一の汎用モデルとして文章生成・要約・翻訳・コード生成・対話など幅広いタスクをこなせる点が特徴で、タスクごとに専用モデルを訓練する従来のアプローチを大きく置き換えつつある。

背景

LLMはNLP向け深層学習の発展から生まれた。モデルパラメータ数と学習データ量を同時にスケールさせることで、few-shot推論や指示追従といった創発的能力を引き出す。

歴史

2018年: GPTとBERTが大規模事前学習を導入し、「大規模言語モデル(LLM)」という呼称が定着し始める。 2020年: GPT-3が1750億パラメータでfew-shot学習を実証。 2022年: ChatGPTが指示チューニング済みLLMを普及。 2023-2024年: オープンウェイトモデル(Llama, Mistral)とマルチモーダルLLMが増加。

アーキテクチャ

多くのLLMはデコーダのみのTransformerスタックを使用。自己注意層、位置エンコーディング、フィードフォワード層で構成され、次トークン予測で学習する。

ワークフロー

大規模テキストコーパスでの事前学習 → 指示チューニング → アライメント(RLHF/DPO) → 推論APIまたはローカルランタイムへのデプロイ。

コード例

基本的な補完リクエスト

from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Explain LLMs in one sentence."}],
)
print(response.choices[0].message.content)

利点

タスク固有の学習なしに多くのNLPタスクへ汎化できる
few-shot・zero-shotで高い性能を発揮
ツール・ファインチューニング・エージェントなどエコシステムの急速な拡大

欠点

学習・推論の計算コストとエネルギーコストが高い
ハルシネーション(事実誤認)を起こしやすい
コーパス全体に比べコンテキストウィンドウが限られる

比較

Transformer — LLMは一般にTransformerアーキテクチャの上に構築される
RAG — RAGは外部知識検索によりLLMを拡張する
NLP — LLMは現在のNLPタスクの多くを単一モデルで解ける汎用アプローチとして主流になっている
GPU — LLMの大規模な事前学習は、多数のGPUを用いた分散学習によって支えられている
ハルシネーション — LLMは事実に基づかない内容をもっともらしく生成するハルシネーションを起こすことがある
トークン — LLMは入出力をトークン列として扱い、次トークン予測を通じて学習される
BERT — BERTは双方向エンコーダによる言語理解に特化したモデルで、生成に強い自己回帰型LLMと対比される
SLM — SLMはLLMよりパラメータ数を抑え、エッジ実行やコスト効率を優先したモデル
コンテキストウィンドウ — コンテキストウィンドウはLLMが一度に処理できる入出力量の上限を規定する
Embedding — LLM内部では入力トークンを埋め込みベクトルに変換してからTransformerで処理する
プロンプト — LLMはプロンプトの内容に応じて出力を生成する
推論モデル — 推論モデルはLLMの一種で、複雑な推論タスク向けに最適化されている
Temperature — Temperatureは、LLMの出力サンプリングのランダム性を調整するパラメータ
MoE — MoEはLLMのフィードフォワード層に適用され、総パラメータ数と計算コストのトレードオフを改善する
AIエージェント — AIエージェントは、LLMを推論エンジンとして中核に据えたシステム
推論 — 推論は、学習済みのLLMへ入力を与え出力を計算するフェーズ
GPT — GPTは、LLMという概念を広く一般に普及させた代表的なモデルファミリーの1つ
Claude — Claudeは、安全性とアライメントを重視して開発される代表的なLLMファミリー
Gemini — Geminiは、マルチモーダル処理を特徴とするGoogleのLLMファミリー
Llama — Llamaは、オープンウェイトのLLMエコシステムを広げた代表的なモデルファミリー
MMLU — MMLUは、LLMの性能比較で広く参照される代表的なベンチマークの1つ
HumanEval — HumanEvalは、LLMのコード生成能力を測定する代表的なベンチマーク
Chatbot Arena — Chatbot Arenaは、主要なLLM間の相対的な性能を比較する代表的な評価プラットフォーム

よくある質問

LLMとチャットボットの違いは？

LLMは基盤となるモデルそのもの。チャットボットはLLMの上にプロンプト設計・メモリ・UIを追加したアプリケーション。

LLMの規模はどれくらい？

モデルファミリーによって数十億から数兆パラメータまで幅がある。

参考文献

Research PaperAttention Is All You Need
BlogOpenAI GPT-4 Technical Report