ベイズ最適化とは
Bayesian Optimization
過去の試行結果から目的関数を確率モデルで近似し、次に試す点を効率的に選びながら最適化するハイパーパラメータ探索手法
概要
ベイズ最適化は、ハイパーパラメータ最適化における探索手法の1つ。学習率やバッチサイズなどの組み合わせと、それに対する検証性能の関係を直接評価するにはコストがかかるため、ガウス過程などの確率モデルでこの関係(目的関数)を近似する。 これまでの試行結果を踏まえ、次にどの値を試すと最も情報が得られそうかを獲得関数(Expected Improvementなど)を使って決定する。グリッドサーチやランダムサーチが探索空間を網羅的・無作為に試すのに対し、ベイズ最適化は過去の結果を活用して有望な領域を優先的に探索するため、少ない試行回数で良い値に到達しやすい。1回の学習コストが高いLLMの学習・ファインチューニングなど、試行回数を抑えたい場面で用いられる。
利点
- グリッドサーチやランダムサーチより少ない試行回数で良い値に到達しやすい
- 1回あたりの評価コストが高いタスクでも効率的に探索できる
欠点
- 確率モデルの構築・更新自体に計算コストがかかり、探索対象の次元が多いと効率が落ちやすい
- 並列に多数の試行を同時実行する場合、グリッドサーチほど単純には並列化しにくい