ロジスティック回帰とは
Logistic Regression
特徴量の線形結合をシグモイド関数で確率に変換し、2値分類する統計的機械学習モデル
ひとことで言うと
データから「はい・いいえ」のような2択の確率を計算する、基本的な統計モデル。
概要
ロジスティック回帰とは、入力特徴量の線形結合をシグモイド関数(ロジスティック関数)に通すことで0〜1の確率値へ変換し、その確率に基づき2値分類(あるいは多クラス分類)を行う統計的機械学習モデル。 名前に「回帰」とあるが、実際に予測するのは連続値ではなくクラスに属する確率であり、分類タスクに使われる手法。 モデルの構造が単純で各特徴量の係数がそのまま結果への影響度として解釈しやすいため、医療診断や与信審査など、判断根拠の説明が重視される場面で古くから使われている。
背景
線形回帰をそのまま分類問題に適用すると、出力が0〜1の範囲に収まらず確率として解釈できないという問題があった。 ロジスティック回帰は、線形結合の出力をシグモイド関数で0〜1の範囲へ変換し、分類問題における確率的な解釈を可能にする手法として考案された。
歴史
1958年: David Coxが、二項応答データに対する統計モデルとしてロジスティック回帰を定式化した論文を発表。 以降、統計学・疫学分野で標準的な手法として普及し、機械学習分野でも基本的な分類アルゴリズムの1つとして広く使われている。
利点
- 各特徴量の係数がそのまま結果への影響度として解釈しやすく、説明性が高い
- 学習・推論の計算コストが低く、大規模データにも適用しやすい
欠点
- 特徴量とクラス確率の関係が線形結合をベースにしているため、複雑な非線形関係を捉えにくい
- クラス間のデータ数が大きく偏っている場合、少数派クラスの予測精度が低下しやすい
比較
- SVM — SVMがマージン最大化に基づく境界を求めるのに対し、ロジスティック回帰は線形結合をシグモイド関数で確率に変換する