学習
学習に関連する用語（49件）
学習は、データからモデルのパラメータを最適化する過程です。事前学習・ファインチューニング・強化学習など複数の段階があり、AIモデルの能力を決定づける中核プロセスです。
用語一覧
ファインチューニング
事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法
データポイズニング
Data Poisoning
学習データに悪意あるデータを混入させ、モデルの挙動を意図的に歪ませる攻撃手法
MLflow
機械学習の実験管理・モデル管理・デプロイをフレームワーク非依存で扱うオープンソースプラットフォーム
勾配ブースティング
Gradient Boosting / GBM
弱い予測モデルを1つずつ順番に追加し、直前までの予測誤差を勾配降下法的に修正しながら精度を高めるアンサンブル学習手法
BPTT
Backpropagation Through Time / 通時的誤差逆伝播法
RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム
誤差逆伝播法
Backpropagation / バックプロパゲーション
出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム
勾配降下法
Gradient Descent
損失関数の勾配の逆方向へパラメータを少しずつ更新し、損失を最小化する最適化アルゴリズム
損失関数
Loss Function / 誤差関数 / 目的関数
モデルの予測と正解とのずれを数値化し、学習の最適化目標とする関数
学習率
Learning Rate
勾配降下法においてパラメータを1回の更新でどれだけ動かすかを決めるハイパーパラメータ
スケーリング則
Scaling Laws
モデルサイズ・データ量・計算量を増やすほど、損失が予測可能な形でべき乗則的に改善するという経験則
破滅的忘却
Catastrophic Forgetting / カタストロフィック忘却
新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象
合成データ
Synthetic Data
実データの代わりに、モデルやシミュレーションによって人工的に生成される学習用データ
勾配消失問題
Vanishing Gradient Problem
深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題
Adam
Adam Optimizer / Adaptive Moment Estimation
勾配の1次・2次モーメントを推定し、パラメータごとに学習率を自動調整する適応的最適化アルゴリズム
事前学習
Pre-training / Pretraining
大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階
GRPO
Group Relative Policy Optimization / グループ相対方策最適化
価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム
RLVR
Reinforcement Learning with Verifiable Rewards / 検証可能報酬による強化学習
学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法
自己教師あり学習
Self-Supervised Learning / SSL
人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤
対照学習
Contrastive Learning / コントラスティブ学習 / 対比学習
似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式
連合学習
Federated Learning / フェデレーテッドラーニング
データを1か所に集めず、端末や組織ごとの学習結果だけを集約して共有モデルを作る分散学習方式
ポストトレーニング
Post-training / 事後学習
事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称
モデルマージ
Model Merging / モデル融合
複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法
グロッキング
Grokking
過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象
データ拡張
Data Augmentation
既存の学習データへ変換を加えて多様性を増やし、モデルの汎化性能を高める技術
教師あり学習
Supervised Learning
入力データと正解ラベルの対応関係を学習し、未知データのラベルを予測する機械学習の基本的な枠組み
準教師あり学習
Semi-Supervised Learning / 半教師あり学習
少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する機械学習の枠組み
カリキュラム学習
Curriculum Learning / 学習順序
簡単なサンプルから難しいサンプルへと順序立てて学習させることで、学習の効率や汎化性能を高める手法
マルチタスク学習
Multi-Task Learning / MTL / タスク間共有表現
複数の関連タスクを1つのモデルで同時に学習し、タスク間で知識を共有することで汎化性能を高める手法
メタ学習
Meta-Learning / Learning to Learn / 学習の学習
複数のタスクの学習経験から、新しいタスクに素早く適応するための学習の仕方自体を学習する枠組み
連続学習
Continual Learning / 継続学習 / Lifelong Learning
新しいタスクやデータを次々と学習しながら、過去に学習した知識を破壊的に忘れないようにする学習の枠組み
タスク難易度
Task Difficulty
モデルにとっての学習・推論の困難さを表す指標で、カリキュラム学習の設計に用いられる概念
分散学習
Distributed Learning / Distributed Training
複数のデバイスやマシンで計算を分担しモデルを学習させる手法
敵対的学習
Adversarial Training / 敵対的訓練
敵対的サンプルを学習データに含めてモデルを再学習させることで、そうした摂動を加えた入力に対する頑健性を高める学習手法
MLOps
Machine Learning Operations
機械学習モデルの開発・検証・デプロイ・運用を継続的かつ再現可能な形で行うための一連のプラクティス
データ並列
Data Parallelism
モデルの複製を複数デバイスに配置し、ミニバッチを分割して並列に学習を進める分散学習手法
モデル並列
Model Parallelism
モデル自体を複数デバイスに分割して配置し、単一デバイスのメモリに収まらない大規模モデルを学習・推論させる分散学習手法
パイプライン並列
Pipeline Parallelism
モデルの層を複数のステージに分割し、ステージ間でマイクロバッチをパイプライン状に流して並列に学習する分散学習手法
勾配チェックポインティング
Gradient Checkpointing / Activation Checkpointing
順伝播時の中間活性化の一部を保存せず、逆伝播時に再計算することでメモリ使用量を削減する学習手法
量子化認識トレーニング
Quantization-Aware Training / QAT
学習中に量子化による誤差をシミュレートし、量子化後の精度低下を抑えるよう重みを調整する学習手法
ハイパーパラメータ最適化
Hyperparameter Optimization / HPO
学習率やバッチサイズなどモデルの性能を左右するハイパーパラメータの値を自動的に探索・選定する手法
バッチ分割
Batch Splitting
1回の学習ステップで扱うバッチをデバイスのメモリに収まる小さな単位へ分割し、順次または並列に処理する手法
テンソル並列
Tensor Parallelism / テンソル並列化 / 層内並列
各層内の行列演算そのものを複数デバイスに分割して並列計算する、層内並列とも呼ばれるモデル並列の一手法
マイクロバッチ
Micro-batch / Microbatch
パイプライン並列においてミニバッチをさらに細かく分割した処理単位で、ステージ間の待機時間削減に使う
バブル最小化
Bubble Minimization / パイプラインバブル削減
パイプライン並列でデバイスが計算開始・終了時に生じる待機時間(バブル)を、スケジューリング等の工夫で削減する取り組み
メモリ効率化
Memory Efficiency
限られたGPU・デバイスメモリでより大きなモデルやバッチを学習・推論できるようにする技術群の総称
ベイズ最適化
Bayesian Optimization
過去の試行結果から目的関数を確率モデルで近似し、次に試す点を効率的に選びながら最適化するハイパーパラメータ探索手法
グリッドサーチ
Grid Search
あらかじめ指定したハイパーパラメータ候補値の全組み合わせを網羅的に試し、最良の組み合わせを探す最も基本的な探索手法
モデルモニタリング
Model Monitoring
本番環境に配置したモデルの性能・入出力分布・データドリフトなどを継続的に観測し、劣化を早期に検知する運用プラクティス
フィードバック最適化
Feedback Optimization
人間や別のAIからのフィードバック(評価・報酬信号)をもとにモデルの出力を望ましい方向へ調整する学習手法の総称