Transformerの歴史

Googleの研究チームが、再帰・畳み込みを用いず自己注意機構のみでSeq2Seqを実現するTransformerアーキテクチャを提案。機械翻訳タスクで当時の最高性能を達成した。

• Attention Is All You Need

OpenAIが、Transformerのデコーダ部分を用いた事前学習とタスク別ファインチューニングの枠組みを示すGPT-1を発表。decoder-only Transformerの実用性を示した。

• Improving Language Understanding with Unsupervised Learning

Googleが、Transformerのエンコーダ部分のみを用い、文脈を双方向に参照するBERTを発表。複数のNLPベンチマークで当時の最高性能を達成した。

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1750億パラメータのGPT-3が、追加学習なしに少数の例示だけでタスクをこなすfew-shot学習能力を実証し、decoder-only Transformerの大規模化の有効性を示した。

• Language Models are Few-Shot Learners

Googleの研究者が、画像をパッチに分割しTransformerへ入力するVision Transformerを発表。CNNに頼らない画像認識の道を開いた。

• An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Stanford大学の研究チームが、GPUのメモリ階層を意識したIOアウェアな実装により、Attention計算を高速化・省メモリ化するFlashAttentionを発表。

• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Googleの研究チームが、複数のQueryヘッドでKey・Valueヘッドを共有し推論を効率化するGQAを提案。Llama 2等、以降の主要オープンウェイトモデルで標準的に採用される。

• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints