対照学習とは
Contrastive Learning / コントラスティブ学習
似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式
ひとことで言うと
「似ているもの同士は近く、違うもの同士は遠く」に配置されるよう、データの特徴の座標を学習する方法。
概要
対照学習とは、似たデータの組の表現を近づけ、異なるデータの組の表現を遠ざけるように埋め込みを学習する方式を指す。 同じ画像への異なるデータ拡張を正例ペア、他の画像を負例として学習する画像表現学習や、画像とその説明文を対応づけるCLIPの学習が代表例になる。 ラベルを使わずに質の高い表現を得られる自己教師あり学習の主要な方法であり、検索や類似度計算に使う埋め込みモデルの学習にも広く使われている。
歴史
画像分野では2020年に発表されたSimCLRやMoCoが代表的な研究として知られる。
関連用語
参考文献
- Research PaperSimCLR (arXiv)