ハイパーパラメータ最適化とは
Hyperparameter Optimization / HPO
学習率やバッチサイズなどモデルの性能を左右するハイパーパラメータの値を自動的に探索・選定する手法
概要
ハイパーパラメータ最適化は、学習率、バッチサイズ、層数、正則化係数など、学習によって直接更新されないハイパーパラメータの組み合わせを探索し、検証データでの性能が最も高くなる値を見つけるプロセス。 代表的な手法として、あらかじめ指定した候補値の全組み合わせを試すグリッドサーチ、探索空間からランダムに値をサンプリングするランダムサーチ、過去の試行結果から次に試す値を確率モデルで推定するベイズ最適化がある。近年では、Optunaなどのフレームワークが、見込みの薄い試行を早期に打ち切る枝刈り(早期終了)を組み合わせた探索を提供している。 探索対象のハイパーパラメータが多く、1回の学習コストが高いLLMなどの大規模モデルでは、探索コストそのものが大きな制約となるため、限られた試行回数で良い値に到達できる手法が重視される。
利点
- 人手による試行錯誤より体系的にモデル性能を向上させられる
- ベイズ最適化などを使えば少ない試行回数で良い値に到達しやすい
欠点
- 1回の学習コストが高いモデルでは、探索全体にかかる計算コスト・時間が大きくなる
- 探索空間の設計(範囲・分布の選び方)が結果の質に影響する