GPTの歴史

「Improving Language Understanding by Generative Pre-Training」論文とともに、1.17億パラメータのGPT-1が公開される。事前学習とファインチューニングの枠組みを確立。

• Improving Language Understanding with Unsupervised Learning

15億パラメータへ拡大したGPT-2を発表。生成文の自然さが注目を集め、悪用リスクを理由に当初は段階的公開となった。

• Better Language Models and Their Implications

1750億パラメータのGPT-3を発表。追加学習なしで少数の例示から新しいタスクをこなすfew-shot学習能力を実証した。

• Language Models are Few-Shot Learners

人間のフィードバックによる強化学習(RLHF)を用いて指示追従性を高めたInstructGPTを発表。後のChatGPTの技術的な土台となった。

• Training Language Models to Follow Instructions with Human Feedback

GPT-3.5をベースにした対話型サービスChatGPTを公開。一般消費者向けLLM普及の起点となった。

• Introducing ChatGPT

テキストに加え画像入力へ対応したマルチモーダルモデルGPT-4を発表。

• GPT-4 Research

テキスト・画像・音声をエンドツーエンドで扱うネイティブなマルチモーダルモデルGPT-4oを発表。

• Hello GPT-4o

OpenAIの新たな主力モデルとしてGPT-5を発表。

• Introducing GPT-5