Re Reference AI

位置エンコーディングとは?関連技術・用語一覧

位置エンコーディングは、Transformerに入力トークンの順序情報を与える仕組みです。RoPEなどの手法があり、長いコンテキストへの対応能力を左右する重要な技術要素です。

位置エンコーディングに関連する用語(2件)。定義・仕組みは位置エンコーディングの用語ページで解説。

位置エンコーディング関連のアーキテクチャ(2件)

RoPE

Rotary Position Embedding / 回転位置埋め込み

クエリ・キーベクトルを位置に応じて回転させることで、Transformerに相対的な位置情報を組み込む位置エンコーディング手法

アーキテクチャTransformer位置エンコーディング

位置エンコーディング

Positional Encoding / 位置埋め込み

語順を区別できない自己注意機構へ、トークンの位置情報を与える仕組み

アーキテクチャTransformer位置エンコーディング

関連するタグ

Transformer