深層学習
深層学習に関連する用語（29件）
深層学習（ディープラーニング）は、多層のニューラルネットワークでデータから階層的な特徴を学習する技術です。画像認識・音声認識・自然言語処理の飛躍的進化をもたらし、現代AIの基盤となっています。
用語一覧
LLM
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
Transformer
注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ
ニューラルネットワーク
Neural Network / NN
生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する
RNN
Recurrent Neural Network / 再帰型ニューラルネットワーク
隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク
Attention
注意機構 / Attention Mechanism
入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構
CNN
Convolutional Neural Network / 畳み込みニューラルネットワーク
畳み込み演算により画像などグリッド状データの局所的な特徴を検出するニューラルネットワーク
LSTM
Long Short-Term Memory / 長短期記憶
ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク
MoE
Mixture of Experts / 専門家混合
入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ
活性化関数
Activation Function
ニューロンの重み付き入力和に非線形変換を適用し、ネットワークが複雑な関数を表現できるようにする関数
隠れ層
Hidden Layer
ニューラルネットワークの入力層と出力層の間に位置し、特徴表現を段階的に変換する層
Self-Attention
自己注意機構
同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態
AlexNet
2012年のImageNet画像認識コンペティションで圧勝し、深層学習ブームの契機となった畳み込みニューラルネットワーク
誤差逆伝播法
Backpropagation / バックプロパゲーション
出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム
ドロップアウト
Dropout
学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法
残差接続
Residual Connection / Skip Connection / スキップ接続
層の入力を出力へ直接加算することで、非常に深いニューラルネットワークでも学習を安定させる接続構造
Layer Normalization
LayerNorm / 層正規化
各サンプルの特徴量方向に平均と分散を揃えることで、ニューラルネットワークの学習を安定させる正規化手法
Batch Normalization
バッチ正規化
ミニバッチ単位で各層の出力を平均0・分散1に正規化し、深層学習の学習を安定させる手法
勾配消失問題
Vanishing Gradient Problem
深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題
世界モデル
World Model / World Models
環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル
生成AI
Generative AI / ジェネレーティブAI
テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称
AlphaFold
アルファフォールド
アミノ酸配列からタンパク質の立体構造を予測する、Google DeepMindのAIモデル
RPNet
2枚の画像からカメラ間の相対姿勢（回転・並進ベクトル）をEnd-to-Endで直接推定するニューラルネットワーク
ResNet
Residual Network / 残差ネットワーク
スキップ接続で勾配消失を回避し、非常に深いネットワークの学習を可能にした画像認識アーキテクチャ
テンソル演算
Tensor Operation
多次元配列であるテンソルに対する加算・乗算・畳み込みなどの数値演算群。深層学習の計算基盤
神経論理プログラミング
Neural Logic Programming / Neural LP
知識グラフの補完などのタスクで、論理ルールをニューラルネットワークにより微分可能な形で学習する手法
微分可能推論
Differentiable Reasoning
論理的な推論の過程を、勾配降下法で最適化可能な微分可能な演算として表現するアプローチ
スパース活性化
Sparse Activation
入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み
ルーター
Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating
MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み
全結合層
Fully Connected Layer / Dense Layer / 全結合ネットワーク
前の層の全ユニットと後の層の全ユニットを結合するニューラルネットワークの層