Phiとは
Microsoftが開発する、高品質な学習データを重視した小規模言語モデルファミリー
ひとことで言うと
Microsoftが作っている、質の良い学習データにこだわった小型AIモデルシリーズ。
概要
Phiとは、Microsoft Researchが開発する小規模言語モデル(SLM)のファミリー。 パラメータ数を大きくする代わりに、教科書のように質の高い、注意深く選定・生成された学習データを用いることで、小さなモデルサイズでも大規模モデルに近い性能を目指すアプローチを特徴とする。 オンデバイス実行や低コストな推論が求められる用途に向けて、モデルの重みが公開されている。 「Textbooks Are All You Need」と題された論文で示された、教科書のように整理された高品質データを重視する学習アプローチは、モデルサイズを抑えつつ性能を高める手法として注目を集めた。 Phi-3以降では言語理解に加えて簡単な推論・コーディングタスクにも対応する能力が強化され、スマートフォンやノートPC等の限られた計算資源での実行を想定した設計が続けられている。
背景
LLMの性能向上はパラメータ数と学習データ量のスケールに依存する面が大きいとされてきたが、Microsoft Researchは学習データの質を高めることでモデルサイズを抑えても高い性能を達成できるという仮説のもとPhiシリーズを開発した。
歴史
2023年6月: Microsoft Researchが13億パラメータのPhi-1を発表し、質の高い学習データによる小規模モデルの性能向上を示す。 2023年12月: Phi-2を発表。 2024年4月: Phi-3を発表。 2024年12月: Phi-4を発表。
アーキテクチャ
デコーダのみのTransformerアーキテクチャを基本とし、大規模モデルが生成した合成データや、厳選された教科書的な高品質データを学習に用いることで、パラメータ数を抑えつつ性能を高める設計を採る。
コード例
Transformersライブラリでの読み込み(概念例)
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4", device_map="auto")
inputs = tokenizer("日本の首都はどこですか？", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))利点
- 小さなモデルサイズでありながら、特定のタスクで大規模モデルに近い性能を発揮する
- 軽量なためオンデバイス実行や低コストな推論に向く
- モデルの重みが公開されており、ローカル環境でのファインチューニングや検証がしやすい
欠点
- モデルサイズが小さい分、幅広い知識や複雑な推論を要するタスクでは大規模モデルに劣る
- 高品質な学習データの設計・生成に依存する部分が大きく、再現には工夫を要する
- 学習データの選定方針がクローズドな部分もあり、性能向上の要因を外部から検証しづらい
比較
関連用語
よくある質問
Phiはどんな用途に向く？
モバイル・PCでのオンデバイス実行や、低コストで大量のリクエストを処理したい用途等、モデルサイズと推論コストの制約が大きい場面に向く。
PhiとGemma・Llamaはどう違う？
アーキテクチャ自体はいずれもデコーダのみのTransformerで大きな差はないが、Phiは学習データの質を重視する点に特色があり、同程度のパラメータ数のモデルと比べて特定タスクで高い性能を示すことが報告されている。
参考文献
- Research PaperTextbooks Are All You Need
- Official WebsiteMicrosoft Phi