自然言語処理とは？関連技術・用語一覧

自然言語処理（NLP）は、人間の言語をコンピュータで理解・生成・分析する技術分野です。形態素解析から機械翻訳、LLMによる対話まで、言語に関わるAI技術の基盤となっています。

自然言語処理に関連する用語（4件）。定義・仕組みはNLPの用語ページで解説。

自然言語処理関連の技術（4件）

単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法

Term Frequency-Inverse Document Frequency

単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法

BPE / バイトペアエンコーディング

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

Text Generation / 文章生成

入力された文脈や指示に基づき、自然言語のテキストを生成するタスク

RAG(検索拡張生成)の仕組みを、チャンキング・Embedding・ベクトルデータベース・ハイブリッド検索・リランカー・GraphRAG・Agentic RAGまで構成要素ごとに整理し、各用語の詳細ページへたどれるガイド。