GPTとは

Generative Pre-trained Transformer

OpenAIが開発する、デコーダのみのTransformerに基づく生成AIモデルファミリー

ひとことで言うと

OpenAIが作っている生成AIのモデルシリーズ。ChatGPTの中核技術。

概要

GPT(Generative Pre-trained Transformer)とは、OpenAIが開発する大規模言語モデルのファミリー。 デコーダのみのTransformerアーキテクチャを採用し、大量のテキストコーパスでの事前学習と、その後の指示チューニング・RLHFによるアライメントを経て、対話・文章生成・コード生成など幅広いタスクに対応する。 ChatGPTの基盤モデルとして広く知られ、モデルの重みは公開されずAPIやサービスを通じて提供されるクローズドウェイトのモデル。 GPT-3以降の世代でパラメータ数と学習データ量を大きく増やしたことで対話・推論性能が飛躍的に向上し、その後継となるGPT-4・GPT-4o・oシリーズ等を通じて、マルチモーダル対応や複雑な推論能力の強化が進められている。

背景

GPTシリーズは、Transformerの登場後、次のトークンを予測する自己回帰型の事前学習を大規模化することで性能が向上するという知見を実証し、その後のLLM開発の方向性に大きな影響を与えた。

歴史

2018年: OpenAIがGPT-1を発表し、Transformerデコーダによる事前学習と個別タスクへの微調整という枠組みを示す。 2019年: GPT-2を発表。 2020年: GPT-3(1750億パラメータ)を発表し、few-shot学習能力を実証。 2022年: GPT-3.5をベースにしたChatGPTが公開され広く普及。 2023年: マルチモーダル対応のGPT-4を発表。 2024年: より高速・低コストなGPT-4oを発表。

アーキテクチャ

自己注意機構を積み重ねたデコーダのみのTransformer構成を基本とし、次トークン予測を学習目標とする事前学習の後、指示チューニングとRLHFによるアライメントを経てChatGPT等の対話型プロダクトとして提供される。

利点

• 幅広いタスクに対応する汎用性と、継続的なモデル更新による性能向上
• ChatGPT・API・各種インテグレーションを含む広範なエコシステムと開発者向けツール
• Function Calling(Tool Calling)等、外部ツール連携の仕組みを早期から整備してきた実績がある

欠点

• モデルの重みが非公開のクローズドウェイトであり、自前でのホスティングやカスタマイズに制約がある
• API利用のコストが発生し、大量利用時のコスト管理が必要になる
• モデルの更新が頻繁で、旧バージョンが廃止(deprecate)される際に既存の実装への追従が必要になる

比較

• LLM — GPTは、LLMという概念を広く一般に普及させた代表的なモデルファミリーの1つ
• Claude — GPTとClaudeは、いずれもクローズドウェイトで提供される代表的な商用LLMファミリー
• 推論モデル — OpenAIのoシリーズは、GPTと並行して提供される推論特化モデルの系統

関連用語

よくある質問

参考文献

• Research PaperLanguage Models are Few-Shot Learners
• Official WebsiteOpenAI

関連する年表

関連する比較

関連Zenn記事

• GPT-4oとGemini-2.0の画像生成能力はいかにして作られているのか
• ChatGPT時代のAI Agent設計: LLMチャットUI vs OpenAI API vs フレームワーク5種の選定基準
• 大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 1
• GPTをドーピングする LangChain 基礎編