決定木とは
Decision Tree
データの特徴量に対する条件分岐を木構造として繰り返し、分類・回帰を予測する機械学習モデル
ひとことで言うと
条件分岐を繰り返しながら答えを絞り込んでいく、木の形をしたAIモデル。
概要
決定木とは、「ある特徴量がある値より大きいか」といった条件分岐を木構造として繰り返し適用し、最終的に葉ノードで分類・回帰の予測値を出力する機械学習モデル。 各内部ノードでは、分類の場合はジニ不純度や情報利得、回帰の場合は分散の減少量などの指標に基づき、データを最もよく分割する特徴量と閾値が選ばれる。 木構造そのものが人間にとって読み解きやすく、判断根拠を条件分岐の経路として説明できる点が特徴。 単体の決定木は学習データの細部に適合しすぎる過学習を起こしやすく、これを緩和するためランダムフォレストや勾配ブースティングのようなアンサンブル学習の基礎モデルとしてもよく使われる。
背景
データを扱うモデルの中には、内部の計算過程がブラックボックス化し、判断根拠を理解しにくいものが多い。 決定木は、条件分岐という人間が直感的に理解できる形式で予測ルールを表現するために発展した。
歴史
1963年: MorganとSonquistが決定木の初期の手法であるAID(Automatic Interaction Detection)を提案。 1984年: Breimanらが、分類・回帰の両方に対応するCART(Classification and Regression Trees)を発表。 1986年: Quinlanが情報利得に基づき木を構築するID3アルゴリズムを発表。
利点
- 条件分岐の経路として判断根拠を説明でき、モデルの解釈性が高い
- 特徴量のスケーリングなど前処理の必要性が比較的低い
欠点
- 木を深くしすぎると学習データに過剰適合しやすく、汎化性能が低下する
- 学習データのわずかな変化だけで木の構造が大きく変わってしまう不安定さを抱える