LLMの歴史

自己注意機構のみで構成されるTransformerアーキテクチャが発表され、以降のLLMの標準的な基盤アーキテクチャとなる。

• Attention Is All You Need

双方向の文脈理解に強みを持つBERTが発表され、事前学習・ファインチューニングという枠組みがNLP全体に広まる契機となった。

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1750億パラメータのGPT-3が、モデルサイズに応じて性能が向上するスケーリング則を実証し、大規模化競争の起点となった。

• Language Models are Few-Shot Learners

対話型サービスとして公開されたChatGPTが爆発的に普及し、一般消費者にLLMを浸透させた。

• Introducing ChatGPT

Metaが研究者向けに公開したLLaMAの重みが流出したことをきっかけに、オープンウェイトLLMの開発・利用が本格的に広まった。

• LLaMA: Open and Efficient Foundation Language Models

AnthropicのClaudeとOpenAIのGPT-4が同日に発表され、複数ベンダーによるフロンティアモデル競争が本格化した。

• Anthropic: Introducing Claude

Google DeepMindが、Ultra・Pro・Nanoの3サイズで構成されるGemini 1.0を発表。

• Google DeepMind: Gemini

強化学習により推論能力を獲得したオープンウェイトの推論モデルDeepSeek-R1が公開され、低い学習コストの報告とともに大きな反響を呼んだ。

• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning