学習
学習に関連する用語（24件）
学習は、データからモデルのパラメータを最適化する過程です。事前学習・ファインチューニング・強化学習など複数の段階があり、AIモデルの能力を決定づける中核プロセスです。
用語一覧
ファインチューニング
事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法
データポイズニング
Data Poisoning
学習データに悪意あるデータを混入させ、モデルの挙動を意図的に歪ませる攻撃手法
MLflow
機械学習の実験管理・モデル管理・デプロイをフレームワーク非依存で扱うオープンソースプラットフォーム
勾配ブースティング
Gradient Boosting / GBM
弱い予測モデルを1つずつ順番に追加し、直前までの予測誤差を勾配降下法的に修正しながら精度を高めるアンサンブル学習手法
BPTT
Backpropagation Through Time / 通時的誤差逆伝播法
RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム
誤差逆伝播法
Backpropagation / バックプロパゲーション
出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム
勾配降下法
Gradient Descent
損失関数の勾配の逆方向へパラメータを少しずつ更新し、損失を最小化する最適化アルゴリズム
損失関数
Loss Function / 誤差関数 / 目的関数
モデルの予測と正解とのずれを数値化し、学習の最適化目標とする関数
学習率
Learning Rate
勾配降下法においてパラメータを1回の更新でどれだけ動かすかを決めるハイパーパラメータ
スケーリング則
Scaling Laws
モデルサイズ・データ量・計算量を増やすほど、損失が予測可能な形でべき乗則的に改善するという経験則
破滅的忘却
Catastrophic Forgetting
新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象
合成データ
Synthetic Data
実データの代わりに、モデルやシミュレーションによって人工的に生成される学習用データ
勾配消失問題
Vanishing Gradient Problem
深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題
Adam
Adam Optimizer / Adaptive Moment Estimation
勾配の1次・2次モーメントを推定し、パラメータごとに学習率を自動調整する適応的最適化アルゴリズム
事前学習
Pre-training / Pretraining
大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階
GRPO
Group Relative Policy Optimization / グループ相対方策最適化
価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム
RLVR
Reinforcement Learning with Verifiable Rewards / 検証可能報酬による強化学習
学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法
自己教師あり学習
Self-Supervised Learning / SSL
人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤
対照学習
Contrastive Learning / コントラスティブ学習
似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式
連合学習
Federated Learning / フェデレーテッドラーニング
データを1か所に集めず、端末や組織ごとの学習結果だけを集約して共有モデルを作る分散学習方式
ポストトレーニング
Post-training / 事後学習
事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称
モデルマージ
Model Merging / モデル融合
複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法
グロッキング
Grokking
過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象
データ拡張
Data Augmentation
既存の学習データへ変換を加えて多様性を増やし、モデルの汎化性能を高める技術