GPTとは
Generative Pre-trained Transformer
OpenAIが開発する、デコーダのみのTransformerに基づく生成AIモデルファミリー
ひとことで言うと
OpenAIが作っている生成AIのモデルシリーズ。ChatGPTの中核技術。
概要
GPT(Generative Pre-trained Transformer)とは、OpenAIが開発する大規模言語モデルのファミリー。 デコーダのみのTransformerアーキテクチャを採用し、大量のテキストコーパスでの事前学習と、その後の指示チューニング・RLHFによるアライメントを経て、対話・文章生成・コード生成など幅広いタスクに対応する。 ChatGPTの基盤モデルとして広く知られ、モデルの重みは公開されずAPIやサービスを通じて提供されるクローズドウェイトのモデル。 GPT-3以降の世代でパラメータ数と学習データ量を大きく増やしたことで対話・推論性能が飛躍的に向上し、その後継となるGPT-4・GPT-4o・oシリーズ等を通じて、マルチモーダル対応や複雑な推論能力の強化が進められている。
背景
GPTシリーズは、Transformerの登場後、次のトークンを予測する自己回帰型の事前学習を大規模化することで性能が向上するという知見を実証し、その後のLLM開発の方向性に大きな影響を与えた。
歴史
2018年: OpenAIがGPT-1を発表し、Transformerデコーダによる事前学習と個別タスクへの微調整という枠組みを示す。 2019年: GPT-2を発表。 2020年: GPT-3(1750億パラメータ)を発表し、few-shot学習能力を実証。 2022年: GPT-3.5をベースにしたChatGPTが公開され広く普及。 2023年: マルチモーダル対応のGPT-4を発表。 2024年: より高速・低コストなGPT-4oを発表。
アーキテクチャ
自己注意機構を積み重ねたデコーダのみのTransformer構成を基本とし、次トークン予測を学習目標とする事前学習の後、指示チューニングとRLHFによるアライメントを経てChatGPT等の対話型プロダクトとして提供される。
利点
- 幅広いタスクに対応する汎用性と、継続的なモデル更新による性能向上
- ChatGPT・API・各種インテグレーションを含む広範なエコシステムと開発者向けツール
- Function Calling(Tool Calling)等、外部ツール連携の仕組みを早期から整備してきた実績がある
欠点
- モデルの重みが非公開のクローズドウェイトであり、自前でのホスティングやカスタマイズに制約がある
- API利用のコストが発生し、大量利用時のコスト管理が必要になる
- モデルの更新が頻繁で、旧バージョンが廃止(deprecate)される際に既存の実装への追従が必要になる
比較
関連する用語
よくある質問
GPTとChatGPTの違いは？
GPTは基盤となるモデルファミリーの名称。 ChatGPTは、GPTシリーズのモデルに対話用のアライメントを施し、チャットUIとして提供するOpenAIの製品。
GPTシリーズとoシリーズの違いは？
GPTシリーズは汎用的な対話・生成タスク向けのモデル系統。 oシリーズは、出力前に長い内部推論過程を行うことに特化した、OpenAIの推論モデルの系統という違いがある。
参考文献
- Research PaperLanguage Models are Few-Shot Learners
- Official WebsiteOpenAI
関連する年表
Transformerの歴史
自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。
GPTの歴史
OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。
LLMの歴史
Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。
MCP(Model Context Protocol)の歴史
AnthropicがLLMアプリケーションと外部ツール・データを接続する標準として公開したMCPが、主要AIベンダーを巻き込んだ業界標準へと広がっていった過程をたどる。
Claudeの歴史
Anthropicが2023年に公開した対話型AI「Claude」の、Claude 2・Claude 3ファミリー・Computer Use・Claude Codeを経てClaude Sonnet 5に至るまでの変遷。
関連する比較
GPT vs Claude
GPTはOpenAIが開発するクローズドウェイトのLLMファミリー、ClaudeはAnthropicが開発する安全性とアライメントを重視したクローズドウェイトのLLMファミリー。いずれも重みは非公開で、API・チャットサービス経由での利用が基本となる。
LLM vs GPT
LLMは大規模なテキストコーパスで学習し言語を予測・生成するモデルの総称、GPTはOpenAIが開発するLLMのモデルファミリーの名称。GPTはLLMの一種であり、ClaudeやGemini、LlamaなどもLLMに含まれる。GPTはLLMという概念を広く一般に普及させた代表的なモデルファミリーの1つとなっている。