グリッドサーチ（Grid Search）とは
Grid Search
あらかじめ指定したハイパーパラメータ候補値の全組み合わせを網羅的に試し、最良の組み合わせを探す最も基本的な探索手法
概要
グリッドサーチは、ハイパーパラメータ最適化における最も基本的な探索手法。各ハイパーパラメータについてあらかじめ候補値の一覧(グリッド)を決めておき、それらの全組み合わせをしらみつぶしに評価して、検証データでの性能が最も良い組み合わせを選ぶ。 実装が単純で、各組み合わせの評価が互いに独立しているため並列実行しやすい一方、ハイパーパラメータの数や候補値の数が増えると組み合わせ数が指数的に増加し、探索コストが急激に大きくなる(次元の呪い)。この欠点を補う手法として、候補値からランダムに抽出して評価するランダムサーチや、過去の結果を活用するベイズ最適化がある。
利点
- 実装がシンプルで理解しやすく、各組み合わせを独立に並列評価できる
- 候補値の範囲を網羅的に評価するため、グリッドの粒度が十分細かければ見落としが少ない
欠点
- ハイパーパラメータの数・候補値の数が増えると組み合わせ数が指数的に増加し、探索コストが膨大になる
- 重要でないハイパーパラメータにも同じ密度で試行を割り当ててしまい非効率になりやすい