深層学習とは?関連技術・用語一覧
深層学習(ディープラーニング)は、多層のニューラルネットワークでデータから階層的な特徴を学習する技術です。画像認識・音声認識・自然言語処理の飛躍的進化をもたらし、現代AIの基盤となっています。
深層学習に関連する用語(33件)。定義・仕組みは深層学習の用語ページで解説。
深層学習関連のモデル(5件)
LLM
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
AlexNet
2012年のImageNet画像認識コンペティションで圧勝し、深層学習ブームの契機となった畳み込みニューラルネットワーク
AlphaFold
アルファフォールド
アミノ酸配列からタンパク質の立体構造を予測する、Google DeepMindのAIモデル
RPNet
2枚の画像からカメラ間の相対姿勢(回転・並進ベクトル)をEnd-to-Endで直接推定するニューラルネットワーク
パラメータ
Parameter / モデルパラメータ / 重み
ニューラルネットワークが学習によって獲得する重みとバイアスの値。LLMの規模を表す指標としても使われる
深層学習関連のアーキテクチャ(19件)
Transformer
注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ
ニューラルネットワーク
Neural Network / NN
生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する
RNN
Recurrent Neural Network / 再帰型ニューラルネットワーク
隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク
Attention
注意機構 / Attention Mechanism
入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構
CNN
Convolutional Neural Network / 畳み込みニューラルネットワーク
畳み込み演算により画像などグリッド状データの局所的な特徴を検出するニューラルネットワーク
LSTM
Long Short-Term Memory / 長短期記憶
ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク
MoE
Mixture of Experts / 専門家混合
入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ
活性化関数
Activation Function
ニューロンの重み付き入力和に非線形変換を適用し、ネットワークが複雑な関数を表現できるようにする関数
隠れ層
Hidden Layer
ニューラルネットワークの入力層と出力層の間に位置し、特徴表現を段階的に変換する層
Self-Attention
自己注意機構
同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態
残差接続
Residual Connection / Skip Connection / スキップ接続
層の入力を出力へ直接加算することで、非常に深いニューラルネットワークでも学習を安定させる接続構造
Layer Normalization
LayerNorm / 層正規化
各サンプルの特徴量方向に平均と分散を揃えることで、ニューラルネットワークの学習を安定させる正規化手法
Batch Normalization
バッチ正規化
ミニバッチ単位で各層の出力を平均0・分散1に正規化し、深層学習の学習を安定させる手法
ResNet
Residual Network / 残差ネットワーク
スキップ接続で勾配消失を回避し、非常に深いネットワークの学習を可能にした画像認識アーキテクチャ
スパース活性化
Sparse Activation
入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み
ルーター
Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating
MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み
全結合層
Fully Connected Layer / Dense Layer / 全結合ネットワーク
前の層の全ユニットと後の層の全ユニットを結合するニューラルネットワークの層
Feed-Forward Network
FFN / フィードフォワードネットワーク / 順伝播型ネットワーク
Transformerの各層でトークン単位に適用される、2層の全結合層と活性化関数からなるサブレイヤー
Multi-Head Attention
MHA / マルチヘッドアテンション
Attentionを複数のヘッドに分けて並列に計算し、異なる観点の関係を同時に捉えて結合する仕組み
深層学習関連の技術(9件)
誤差逆伝播法
Backpropagation / バックプロパゲーション
出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム
ドロップアウト
Dropout
学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法
勾配消失問題
Vanishing Gradient Problem
深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題
世界モデル
World Model / World Models
環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル
生成AI
Generative AI / ジェネレーティブAI / GenAI
テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称
テンソル演算
Tensor Operation
多次元配列であるテンソルに対する加算・乗算・畳み込みなどの数値演算群。深層学習の計算基盤
神経論理プログラミング
Neural Logic Programming / Neural LP
知識グラフの補完などのタスクで、論理ルールをニューラルネットワークにより微分可能な形で学習する手法
微分可能推論
Differentiable Reasoning
論理的な推論の過程を、勾配降下法で最適化可能な微分可能な演算として表現するアプローチ
勾配クリッピング
Gradient Clipping
勾配の大きさに上限を設け、勾配爆発による学習の発散を防ぐ手法
深層学習関連の比較
生成AI vs LLM
生成AIはテキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称、LLMは大規模なテキストコーパスで学習し言語を予測・生成するニューラルネットワーク。LLMは生成AIの一種であり、生成AIには画像生成の拡散モデルなどLLM以外の技術も含まれる。両者は並列の選択肢ではなく、包含関係にある。
Transformer vs LLM
Transformerは自己注意機構(Self-Attention)で系列中のトークン間の関係をモデル化するニューラルネットワークアーキテクチャ、LLMはそのアーキテクチャを大規模なパラメータ数とコーパスで学習した言語モデル。Transformerが「設計図」、LLMがその設計図に基づいて大規模に学習された「モデル」という関係にある。
深層学習関連の特集記事
深層学習関連の年表
GPTの歴史
OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。
LLMの歴史
Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。
Transformerの歴史
自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。