WizardLM（Evol-Instruct）とは
Evol-Instruct
LLMに指示文を段階的に複雑化させるEvol-Instructの生成データを学習したLLMのシリーズ
最終更新:
ひとことで言うと
AI自身に練習問題をどんどん難しく書き換えさせ、その問題で学習させたAIモデル。
概要
WizardLMとは、MicrosoftとPeking Universityの研究者らが発表した、Evol-Instructという手法による指示データを使ってLLaMAをファインチューニングしたモデル、およびそのシリーズ。 Evol-Instructは、少数の初期指示をもとに難易度と多様性の高い指示データを自動で作る手法。LLMに制約の追加・推論ステップの増加・具体化などで指示をより複雑に書き換えさせる「深さ方向の進化」と、新しい話題の指示を生み出させる「幅方向の進化」を繰り返す。人手で複雑な指示を書くコストを減らせる。 同じ手法をコード生成や数学に適用したWizardCoderやWizardMathも公開された。また、WizardLMの学習データから応答拒否を含む例を除いたアンセンサード版もコミュニティで作られた。
歴史
2023年4月、論文「WizardLM: Empowering Large Language Models to Follow Complex Instructions」でEvol-InstructとWizardLMが発表された。