Re Reference AI
自然言語処理に関連する用語（3件）
自然言語処理（NLP）は、人間の言語をコンピュータで理解・生成・分析する技術分野です。形態素解析から機械翻訳、LLMによる対話まで、言語に関わるAI技術の基盤となっています。
単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法
Term Frequency-Inverse Document Frequency
単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法
BPE / バイトペアエンコーディング
頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム