アーキテクチャ

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する

隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク

入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構

畳み込み演算により画像などグリッド状データの局所的な特徴を検出するニューラルネットワーク

ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク

入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ

ニューロンの重み付き入力和に非線形変換を適用し、ネットワークが複雑な関数を表現できるようにする関数

ニューラルネットワークの入力層と出力層の間に位置し、特徴表現を段階的に変換する層

入力系列を、意味を圧縮した内部表現(コンテキストベクトル)へ変換するニューラルネットワークの構成要素

LSTMを簡略化し、更新ゲートとリセットゲートの2つで情報の保持・忘却を制御するRNNのユニット構造

同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態

入力系列を、長さの異なる別の系列へ変換するEncoder-Decoder型のニューラルネットワークアーキテクチャ

入力データを一度圧縮してから復元するよう学習させることで、データの特徴表現を教師なしで獲得するニューラルネットワーク

実数値のベクトルを、合計1の確率分布へ変換する活性化関数

データに徐々にノイズを加える過程を学習し、その逆過程をたどってノイズから新しいデータを生成するモデル

偽物を作る生成器と、本物・偽物を見分ける識別器を競わせながら学習させる生成モデルの枠組み

データを確率分布として潜在空間へ圧縮し、そこからのサンプリングで新しいデータを生成できるオートエンコーダ

クエリ・キーベクトルを位置に応じて回転させることで、Transformerに相対的な位置情報を組み込む位置エンコーディング手法

系列データを連続的な状態変数の遷移として捉え、系列長に対して線形の計算量で処理できるモデルアーキテクチャ

層の入力を出力へ直接加算することで、非常に深いニューラルネットワークでも学習を安定させる接続構造

各サンプルの特徴量方向に平均と分散を揃えることで、ニューラルネットワークの学習を安定させる正規化手法

GPUのメモリ階層を意識した計算順序により、通常のAttentionと同じ結果を高速かつ省メモリに計算するアルゴリズム

複数のクエリヘッドをいくつかのグループに分け、グループ内でキー・バリューヘッドを共有するAttentionの構造

全てのクエリヘッドが単一のキー・バリューヘッドを共有し、KVキャッシュを最小限に抑えるAttentionの構造

各トークンが固定サイズの近傍ウィンドウ内のみを参照することで、計算量を系列長に対して線形に抑えるAttentionの手法

各トークンごとに処理へ使う層の数を動的に決め、計算量を必要最小限に絞るTransformerの設計

ミニバッチ単位で各層の出力を平均0・分散1に正規化し、深層学習の学習を安定させる手法

自己回帰的に1トークンずつ生成するのでなく、ノイズ除去過程を繰り返してテキストを並列生成するLLM

選択的状態空間モデルに基づき、系列長に線形の計算量で長い系列を処理できるアーキテクチャ

画像をパッチの系列に分割してTransformerで処理する画像認識アーキテクチャ

縮小と拡大の経路をスキップ接続でつないだU字型のネットワーク。セグメンテーションと拡散モデルで標準的な構成

内部表現から出力系列を生成する側のネットワーク。デコーダのみを積んだ構成が現在のLLMの主流

キーとバリューを低ランクの潜在ベクトルへ圧縮して保持し、KVキャッシュを削減する注意機構

語順を区別できない自己注意機構へ、トークンの位置情報を与える仕組み

画像そのものではなく、次元を圧縮した潜在空間上で拡散過程を行うことで計算コストを抑えた拡散モデル