基盤モデルとは
Foundation Model / ファウンデーションモデル
大量のデータで事前学習され、ファインチューニングやプロンプトによって幅広いタスクへ適応できる汎用モデル
ひとことで言うと
1つの巨大なAIモデルを共通の土台として作っておき、少しの調整でいろいろな仕事に使い回すという考え方のモデル。
概要
基盤モデルとは、大規模なデータで事前学習され、その後の適応によって幅広い下流タスクへ転用できる汎用モデルを指す。 タスクごとに個別のモデルを学習する従来の方式と異なり、1つのモデルを共通の基盤とし、ファインチューニング・プロンプト・RAGなどで多様な用途へ展開する。 GPTやClaudeのようなLLMのほか、画像・音声・タンパク質構造など、言語以外の領域の大規模事前学習モデルも含む広い概念になる。
背景
自己教師あり学習と計算資源の拡大により、単一の大規模モデルが多くのタスクで個別モデルを上回るようになった。 この転換を捉える言葉として提唱され、AI開発の前提を「タスクごとの学習」から「基盤の共有と適応」へ変えた。
歴史
2021年8月にスタンフォード大学の研究者ら（Bommasaniら）が論文「On the Opportunities and Risks of Foundation Models」で提唱した。
利点
- タスクごとにモデルをゼロから学習する必要がなく、1つの基盤モデルを多様な下流タスクへ効率的に転用できる
- 大規模なデータで事前学習された基礎能力を土台にできるため、下流タスクごとの学習データ量を抑えられる
- 画像・音声・タンパク質構造など言語以外の領域でも同じ考え方を応用でき、幅広い分野で開発の枠組みを共有できる
欠点
- 基盤モデル自体の事前学習には膨大な計算資源とデータが必要で、開発できる組織が限られる
- 基盤モデルに内在するバイアスや欠陥は、そこから派生する下流タスクのモデルすべてに伝播する
- 少数の基盤モデルへの依存が進むと、単一障害点やベンダーロックインのリスクが生じる
比較
- LLM — LLMが言語を中心とする基盤モデルの代表例であるのに対し、基盤モデルは画像・音声・科学データなど言語以外の領域の大規模事前学習モデルも含む広い概念