自己教師あり学習とは
Self-Supervised Learning / SSL
人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤
ひとことで言うと
人間が正解ラベルを付けなくても、「文章の続きを当てる」のようにデータ自体から問題と答えを作って学習する方法。
概要
自己教師あり学習とは、人手によるラベルを使わず、データ自体から擬似的な正解を作って学習する方式を指す。 文章の次の単語を当てる、隠した単語を復元する、画像の一部から残りを予測するなど、データの構造そのものを教師信号として使う。 人手のアノテーションが不要なためWeb規模の大量データで学習でき、LLMの事前学習（次トークン予測）やBERTのマスク言語モデルはその代表例になる。 大規模な基盤モデルの成立を支える中心的な学習方式と位置づけられている。
背景
教師あり学習の性能はラベル付きデータの量に制約され、人手のアノテーションがボトルネックだった。 ラベルなしデータから教師信号を作れれば、データ量の制約を緩和できるという発想が背景にある。
ワークフロー
生データからマスクや並べ替えなどでタスクを人工的に作る（プリテキストタスク） → ラベルなしデータでモデルを学習し汎用的な表現を獲得する（事前学習） → 獲得した表現を下流タスクへファインチューニングまたはそのまま転用する。
利点
- ラベル付けの人手コストなしに、Web規模の大量データを学習に活用できる
- 得られた表現は多様な下流タスクへ転用しやすく、少量のラベル付きデータでのファインチューニングと組み合わせやすい
- LLMの事前学習（次トークン予測）のように、明示的なタスク設計なしに汎用的な言語・視覚理解を獲得できる
欠点
- 学習に使うプリテキストタスク（マスク予測など）の設計が、獲得される表現の質を左右する
- 教師あり学習と異なり特定タスクの性能を直接最適化しているわけではないため、下流タスクでの性能は事後の評価が必要
- 学習データに含まれる偏りやノイズが、そのまま獲得される表現に反映される
比較
関連用語
よくある質問
教師あり学習との違いは？
教師あり学習は人手が付与した正解ラベルを使うのに対し、自己教師あり学習はデータ自体の構造（文脈やマスクされた部分など）から擬似的な正解を作り出して学習する。
教師なし学習と同じ？
広義には教師なし学習の一種とされることもあるが、自己教師あり学習は「データから自動生成した教師信号を使う」学習方法に着目した呼び方であり、明確な教師信号を持たないクラスタリング等の教師なし学習とは区別して語られることが多い。