メタ学習（学習の学習）とは

Meta-Learning / Learning to Learn / 学習の学習

複数のタスクの学習経験から、新しいタスクに素早く適応するための学習の仕方自体を学習する枠組み

ひとことで言うと

たくさんの課題を解いた経験をもとに、新しい課題にも少ない練習ですぐ対応できる「学び方」自体を身につけさせる方法。

概要

メタ学習(Meta-Learning)とは、複数のタスクを学習する経験を通じて、新しい未知のタスクに少量のデータや少ない更新回数で素早く適応できるような「学習の仕方」自体を獲得することを目指す機械学習の枠組みを指す。 通常の機械学習が1つのタスクに対してパラメータを最適化するのに対し、メタ学習は多数の関連タスクにまたがる学習(メタ訓練)を通じて、新しいタスクへの適応を効率化するモデルの初期値や更新則、あるいはタスク間で共通する構造を学習する。 少数の事例からの学習を目指すFew-Shot Learningの実現手法の1つとしてよく用いられ、モデルの初期パラメータを新タスクへ少数ステップの勾配更新で適応しやすい位置に学習するMAML(Model-Agnostic Meta-Learning)が代表的な手法として知られる。

歴史

「学習の仕方を学習する」という考え方自体は1987年のSchmidhuberの研究に遡るとされ、2017年にFinnらが提案したMAMLによって、ニューラルネットワークベースのメタ学習手法として広く知られるようになった。

利点

• 新しいタスクに対して少量のデータ・少ない更新回数で適応できる
• タスクの共通構造を捉えることで、個別タスクを一から学習するより少ないデータ・学習時間で済む場合がある
• Few-Shot Learningなどデータが乏しい設定への応用に適している

欠点

• メタ訓練には多数の関連タスクを用意する必要があり、タスク自体の設計・収集コストが高い
• メタ訓練時のタスク分布と、実際に適応させたい新タスクの分布が大きく異なると性能が低下する
• MAML等の勾配ベース手法は勾配を通じた勾配計算(2階微分)が必要になり、計算コストが高くなりやすい

比較

• 転移学習 — 転移学習が1つの学習済みモデルを新タスクへ転用するのに対し、メタ学習は多数のタスクにまたがる学習経験から新タスクへ素早く適応する能力自体を獲得する
• マルチタスク学習 — マルチタスク学習が複数タスクを同時に解けるモデルを学習するのに対し、メタ学習は未知の新タスクへの適応の速さを学習の目標に据える

関連用語

よくある質問

参考文献

• Research PaperModel-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (arXiv)