GPTとは
Generative Pre-trained Transformer
OpenAIが開発する、デコーダのみのTransformerに基づく生成AIモデルファミリー
ひとことで言うと
OpenAIが作っている生成AIのモデルシリーズ。ChatGPTの中核技術。
概要
GPT(Generative Pre-trained Transformer)とは、OpenAIが開発する大規模言語モデルのファミリー。 デコーダのみのTransformerアーキテクチャを採用し、大量のテキストコーパスでの事前学習と、その後の指示チューニング・RLHFによるアライメントを経て、対話・文章生成・コード生成など幅広いタスクに対応する。 ChatGPTの基盤モデルとして広く知られ、モデルの重みは公開されずAPIやサービスを通じて提供されるクローズドウェイトのモデル。 GPT-3以降の世代でパラメータ数と学習データ量を大きく増やしたことで対話・推論性能が飛躍的に向上し、その後継となるGPT-4・GPT-4o・oシリーズ等を通じて、マルチモーダル対応や複雑な推論能力の強化が進められている。
背景
GPTシリーズは、Transformerの登場後、次のトークンを予測する自己回帰型の事前学習を大規模化することで性能が向上するという知見を実証し、その後のLLM開発の方向性に大きな影響を与えた。
歴史
2018年: OpenAIがGPT-1を発表し、Transformerデコーダによる事前学習と個別タスクへの微調整という枠組みを示す。 2019年: GPT-2を発表。 2020年: GPT-3(1750億パラメータ)を発表し、few-shot学習能力を実証。 2022年: GPT-3.5をベースにしたChatGPTが公開され広く普及。 2023年: マルチモーダル対応のGPT-4を発表。 2024年: より高速・低コストなGPT-4oを発表。
アーキテクチャ
自己注意機構を積み重ねたデコーダのみのTransformer構成を基本とし、次トークン予測を学習目標とする事前学習の後、指示チューニングとRLHFによるアライメントを経てChatGPT等の対話型プロダクトとして提供される。
利点
- 幅広いタスクに対応する汎用性と、継続的なモデル更新による性能向上
- ChatGPT・API・各種インテグレーションを含む広範なエコシステムと開発者向けツール
欠点
- モデルの重みが非公開のクローズドウェイトであり、自前でのホスティングやカスタマイズに制約がある
- API利用のコストが発生し、大量利用時のコスト管理が必要になる
比較
関連用語
よくある質問
GPTとChatGPTの違いは？
GPTは基盤となるモデルファミリーの名称。 ChatGPTは、GPTシリーズのモデルに対話用のアライメントを施し、チャットUIとして提供するOpenAIの製品。
参考文献
- Research PaperLanguage Models are Few-Shot Learners
- Official WebsiteOpenAI