密ベクトル（Dense Vector）とは
Dense Vector / Dense Embedding
ほとんどの次元が0以外の値を持ち、意味的な特徴を圧縮して表現する低〜中次元の実数値ベクトル
概要
密ベクトル(Dense Vector)とは、Embeddingモデルなどが出力する、ほとんどの次元が0以外の値を持つ、数百〜数千次元程度の実数値ベクトルを指す。 TF-IDFやBM25が扱う疎ベクトル(Sparse Vector、語彙サイズと同程度の高次元で大部分の要素が0)とは対照的に、密ベクトルは各次元が特定の単語や概念と一対一に対応するわけではなく、複数の次元の組み合わせによって単語や文の意味的な特徴を圧縮して表現する。 コサイン類似度などで密ベクトル同士の距離を測ることで、表記の違いを超えた意味的な近さに基づくセマンティック検索が可能になる。
比較
- TF-IDF — TF-IDFは疎ベクトルを生成する統計的手法であるのに対し、Embeddingモデルは密ベクトルを生成し、各次元の組み合わせで意味的特徴を圧縮して表す