Re Reference AI

深層学習とは?関連技術・用語一覧

深層学習(ディープラーニング)は、多層のニューラルネットワークでデータから階層的な特徴を学習する技術です。画像認識・音声認識・自然言語処理の飛躍的進化をもたらし、現代AIの基盤となっています。

深層学習に関連する用語(33件)。定義・仕組みは深層学習の用語ページで解説。

深層学習関連のモデル(5件)

LLM

大規模言語モデル / Large Language Model

大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク

モデルNLPTransformer深層学習

AlexNet

2012年のImageNet画像認識コンペティションで圧勝し、深層学習ブームの契機となった畳み込みニューラルネットワーク

モデル画像認識深層学習

AlphaFold

アルファフォールド

アミノ酸配列からタンパク質の立体構造を予測する、Google DeepMindのAIモデル

モデル深層学習Google

RPNet

2枚の画像からカメラ間の相対姿勢(回転・並進ベクトル)をEnd-to-Endで直接推定するニューラルネットワーク

モデル画像認識深層学習

パラメータ

Parameter / モデルパラメータ / 重み

ニューラルネットワークが学習によって獲得する重みとバイアスの値。LLMの規模を表す指標としても使われる

モデルLLM深層学習

深層学習関連のアーキテクチャ(19件)

Transformer

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

アーキテクチャ深層学習AttentionNLP

ニューラルネットワーク

Neural Network / NN

生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する

アーキテクチャ深層学習機械学習

RNN

Recurrent Neural Network / 再帰型ニューラルネットワーク

隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク

アーキテクチャ深層学習系列モデリング

Attention

注意機構 / Attention Mechanism

入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構

アーキテクチャ深層学習Transformer

CNN

Convolutional Neural Network / 畳み込みニューラルネットワーク

畳み込み演算により画像などグリッド状データの局所的な特徴を検出するニューラルネットワーク

アーキテクチャ深層学習画像認識

LSTM

Long Short-Term Memory / 長短期記憶

ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク

アーキテクチャ深層学習系列モデリング

MoE

Mixture of Experts / 専門家混合

入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ

アーキテクチャ深層学習スパースモデル

活性化関数

Activation Function

ニューロンの重み付き入力和に非線形変換を適用し、ネットワークが複雑な関数を表現できるようにする関数

アーキテクチャニューラルネットワーク深層学習

隠れ層

Hidden Layer

ニューラルネットワークの入力層と出力層の間に位置し、特徴表現を段階的に変換する層

アーキテクチャニューラルネットワーク深層学習

Self-Attention

自己注意機構

同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態

アーキテクチャTransformer深層学習

残差接続

Residual Connection / Skip Connection / スキップ接続

層の入力を出力へ直接加算することで、非常に深いニューラルネットワークでも学習を安定させる接続構造

アーキテクチャニューラルネットワーク深層学習

Layer Normalization

LayerNorm / 層正規化

各サンプルの特徴量方向に平均と分散を揃えることで、ニューラルネットワークの学習を安定させる正規化手法

アーキテクチャニューラルネットワーク深層学習

Batch Normalization

バッチ正規化

ミニバッチ単位で各層の出力を平均0・分散1に正規化し、深層学習の学習を安定させる手法

アーキテクチャニューラルネットワーク深層学習

ResNet

Residual Network / 残差ネットワーク

スキップ接続で勾配消失を回避し、非常に深いネットワークの学習を可能にした画像認識アーキテクチャ

アーキテクチャ画像認識深層学習

スパース活性化

Sparse Activation

入力ごとにネットワークの一部のパラメータ・ユニットだけを選択的に計算に使う仕組み

アーキテクチャ深層学習スパースモデル

ルーター

Router / ゲーティングネットワーク / Gating Network / ゲーティング / Gating

MoEなどのスパースなニューラルネットワークで、入力ごとにどの専門家・ユニットへ処理を振り分けるかを決定する仕組み

アーキテクチャ深層学習スパースモデル

全結合層

Fully Connected Layer / Dense Layer / 全結合ネットワーク

前の層の全ユニットと後の層の全ユニットを結合するニューラルネットワークの層

アーキテクチャニューラルネットワーク深層学習

Feed-Forward Network

FFN / フィードフォワードネットワーク / 順伝播型ネットワーク

Transformerの各層でトークン単位に適用される、2層の全結合層と活性化関数からなるサブレイヤー

アーキテクチャTransformer深層学習

Multi-Head Attention

MHA / マルチヘッドアテンション

Attentionを複数のヘッドに分けて並列に計算し、異なる観点の関係を同時に捉えて結合する仕組み

アーキテクチャTransformer深層学習

深層学習関連の技術(9件)

誤差逆伝播法

Backpropagation / バックプロパゲーション

出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム

技術学習深層学習

ドロップアウト

Dropout

学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法

技術正則化深層学習

勾配消失問題

Vanishing Gradient Problem

深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題

技術学習深層学習

世界モデル

World Model / World Models

環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル

技術深層学習強化学習マルチモーダル

生成AI

Generative AI / ジェネレーティブAI / GenAI

テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称

技術生成AI深層学習

テンソル演算

Tensor Operation

多次元配列であるテンソルに対する加算・乗算・畳み込みなどの数値演算群。深層学習の計算基盤

技術深層学習並列計算

神経論理プログラミング

Neural Logic Programming / Neural LP

知識グラフの補完などのタスクで、論理ルールをニューラルネットワークにより微分可能な形で学習する手法

技術知識深層学習

微分可能推論

Differentiable Reasoning

論理的な推論の過程を、勾配降下法で最適化可能な微分可能な演算として表現するアプローチ

技術知識深層学習

勾配クリッピング

Gradient Clipping

勾配の大きさに上限を設け、勾配爆発による学習の発散を防ぐ手法

技術学習深層学習

深層学習関連の比較

生成AI vs LLM

生成AIはテキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称、LLMは大規模なテキストコーパスで学習し言語を予測・生成するニューラルネットワーク。LLMは生成AIの一種であり、生成AIには画像生成の拡散モデルなどLLM以外の技術も含まれる。両者は並列の選択肢ではなく、包含関係にある。

生成AILLM

Transformer vs LLM

Transformerは自己注意機構(Self-Attention)で系列中のトークン間の関係をモデル化するニューラルネットワークアーキテクチャ、LLMはそのアーキテクチャを大規模なパラメータ数とコーパスで学習した言語モデル。Transformerが「設計図」、LLMがその設計図に基づいて大規模に学習された「モデル」という関係にある。

TransformerLLM

深層学習関連の特集記事

主要オープンウェイトLLMモデル一覧

Llama・Mistral・DeepSeek・Qwen・Phi・Gemma等、モデルの重みが公開されている主要なオープンウェイトLLM・生成AIモデルを一覧で紹介。各モデルの特徴・開発元比較・リリース年表まとめ。

モデル9モデル

RAG完全ガイド

RAG(検索拡張生成)の仕組みを、チャンキング・Embedding・ベクトルデータベース・ハイブリッド検索・リランカー・GraphRAG・Agentic RAGまで構成要素ごとに整理し、各用語の詳細ページへたどれるガイド。

技術

深層学習関連の年表

GPTの歴史

OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。

モデル8件のイベント / 2018 - 2025

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

Transformerの歴史

自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。

アーキテクチャ7件のイベント / 2017 - 2023

関連するタグ

ニューラルネットワークTransformer画像認識スパースモデル学習NLP系列モデリング知識Attention機械学習強化学習マルチモーダル