Re Reference AI
位置エンコーディングに関連する用語（2件）
位置エンコーディングは、Transformerに入力トークンの順序情報を与える仕組みです。RoPEなどの手法があり、長いコンテキストへの対応能力を左右する重要な技術要素です。
Rotary Position Embedding / 回転位置埋め込み
クエリ・キーベクトルを位置に応じて回転させることで、Transformerに相対的な位置情報を組み込む位置エンコーディング手法
Positional Encoding / 位置埋め込み
語順を区別できない自己注意機構へ、トークンの位置情報を与える仕組み