一貫性正則化とは
Consistency Regularization
入力に摂動を加えても出力予測が一貫するようモデルを制約する半教師あり学習の正則化手法
概要
一貫性正則化は、同じ入力にノイズやデータ拡張などの摂動を加えた複数のバリエーションに対して、モデルの予測が一貫している(似た出力になる)ことを促す正則化手法。 ラベルなしデータに対してもこの一貫性損失を計算できるため、半教師あり学習でラベルなしデータを活用する代表的な手法の1つとなっている。 擬似ラベリングと組み合わせ、確信度の高い予測のみを教師信号として一貫性を課すことで、誤った擬似ラベルによる学習の破綻を防ぐ工夫もよく用いられる。 MixMatchやFixMatchなど、近年の半教師あり学習手法の多くがこの考え方を核としている。