自然言語処理

自然言語処理に関連する用語（4件）

自然言語処理（NLP）は、人間の言語をコンピュータで理解・生成・分析する技術分野です。形態素解析から機械翻訳、LLMによる対話まで、言語に関わるAI技術の基盤となっています。

用語一覧

単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法

Term Frequency-Inverse Document Frequency

単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法

BPE / バイトペアエンコーディング

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

Text Generation / 文章生成

入力された文脈や指示に基づき、自然言語のテキストを生成するタスク