自己教師あり学習とは
Self-Supervised Learning / SSL
人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤
ひとことで言うと
人間が正解ラベルを付けなくても、「文章の続きを当てる」のようにデータ自体から問題と答えを作って学習する方法。
概要
自己教師あり学習とは、人手によるラベルを使わず、データ自体から擬似的な正解を作って学習する方式を指す。 文章の次の単語を当てる、隠した単語を復元する、画像の一部から残りを予測するなど、データの構造そのものを教師信号として使う。 人手のアノテーションが不要なためWeb規模の大量データで学習でき、LLMの事前学習（次トークン予測）やBERTのマスク言語モデルはその代表例になる。 大規模な基盤モデルの成立を支える中心的な学習方式と位置づけられている。
背景
教師あり学習の性能はラベル付きデータの量に制約され、人手のアノテーションがボトルネックだった。 ラベルなしデータから教師信号を作れれば、データ量の制約を緩和できるという発想が背景にある。