Orcaとは
GPT-4が生成する詳細な推論過程を模倣学習させることで、小規模ながら高い推論能力を目指したMicrosoft Researchの言語モデル
ひとことで言うと
GPT-4の「答えだけ」でなく「考え方の過程」をまねて学習させることで、小さいモデルでも推論力を高めようとしたMicrosoftのAIモデル。
概要
OrcaとはMicrosoft Researchが開発した言語モデルで、GPT-4が生成する段階的な説明・推論過程(explanation trace)を模倣学習させる「Explanation Tuning」という手法によって、小規模なモデルでも高い推論能力を獲得することを狙った研究成果になる。 従来の指示チューニングは、GPT系モデルの出力（最終的な回答のみ）を教師データとして模倣する手法が主流だったが、この方法では大規模モデルが内部で行っている段階的な思考過程までは学習しにくいという課題があった。Orcaは、GPT-4に「なぜその答えになるのか」を説明させたデータで学習することで、この課題への対処を試みた。 後継のOrca 2では、タスクに応じて段階的な推論・直接回答・情報を思い出してから生成する等、異なる解法戦略を使い分ける能力を学習させる「Cautious Reasoning」という考え方が導入された。
歴史
2023年6月、Microsoft Researchが論文「Orca: Progressive Learning from Complex Explanation Traces of GPT-4」でOrca（LLaMA-13Bをベースとした13Bパラメータモデル）を発表。 2023年11月には後継の論文「Orca 2: Teaching Small Language Models How to Reason」とともにOrca 2（Llama 2の7B・13Bをベースとしたモデル）が発表され、モデルの重みがHugging Face上で公開された。
アーキテクチャ
LLaMA・Llama 2をベースモデルとし、GPT-4が生成した詳細な説明・推論トレースを教師データとして追加学習させるExplanation Tuningの手法を採る。Orca 2では、学習時にシステムプロンプトを取り除く「Prompt Erasing」により、モデルが状況に応じて自ら推論戦略を選べるよう訓練する。
利点
- 最終的な回答だけでなく段階的な推論過程を模倣学習することで、同規模の他モデルと比べて推論・複雑な指示への追従性能の向上が報告されている
- Orca 2はモデルの重みが公開されており、ローカル環境での検証や研究に利用できる
欠点
- 学習データの生成にGPT-4のAPI利用が必要で、再現には相応のコストがかかる
- 研究成果としての位置づけが強く、商用プロダクトとして継続的に提供されるモデルファミリーではない
比較
関連用語
よくある質問
OrcaとAlpacaのような指示チューニングモデルの違いは。
Alpacaのような従来の指示チューニングは、GPT系モデルの最終的な出力のみを教師データとするのに対し、Orcaは出力に至るまでの段階的な説明・推論過程まで学習データに含める点が異なる。
Orcaのモデルはどこで入手できるのか。
Orca 2の重みはMicrosoftによってHugging Face上で公開されている。初代Orcaについては論文で手法が示されたが、モデル自体は公式には広く配布されていない。