負例サンプリングとは
Negative Sampling
全ての負例ではなく一部を無作為抽出して学習コストを抑える手法
概要
負例サンプリングは、分類や表現学習において全ての負例(正解ではない候補)を計算対象とせず、その一部を無作為または戦略的にサンプリングして損失計算に使う手法。 Word2Vecの学習では、語彙全体に対するSoftmaxの計算コストを避けるため、少数の負例単語をサンプリングして二値分類問題として近似する目的で導入された。 対照学習(SimCLRやCLIPなど)でも、正例ペアに対して大量の負例との距離を離すことで表現を学習するが、負例の選び方や数が学習の質に大きく影響する。 難しい負例(hard negative)を優先的にサンプリングすることで、表現の識別力をさらに高める工夫も広く行われている。