NLP
NLPに関連する用語（22件）
NLP（Natural Language Processing、自然言語処理）は、人間の言語をコンピュータで理解・生成・分析する技術分野です。翻訳・要約・感情分析など多様なタスクを含み、LLMの登場で大きく進化しました。
用語一覧
LLM
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
Transformer
注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ
RAG
検索拡張生成 / Retrieval-Augmented Generation
検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法
コーパス
Corpus / テキストコーパス
言語モデルの学習・分析に使われる、構造化されたテキストデータの集合
トークン
Token
LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位
BERT
Bidirectional Encoder Representations from Transformers
文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル
SLM
Small Language Model / 小規模言語モデル
数億〜数十億パラメータ程度の、軽量で特定用途に最適化された言語モデル
Embedding
埋め込み / 埋め込みベクトル
テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現
トークナイゼーション
Tokenization / トークン化 / トークナイザー
テキストをモデルが扱う最小単位であるトークンの列へ分割する処理
Sentence-BERT
SBERT
シャム(Siamese)ネットワーク構造でBERTを微調整し、コサイン類似度で比較可能な文単位の埋め込みを高速に得られるモデル
MLM
Masked Language Model / マスク化言語モデル / マスク言語モデリング
入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法
機械翻訳
Machine Translation / MT
ある言語のテキストを別の言語のテキストへコンピュータが自動的に翻訳する技術
質問応答システム
Question Answering / QA / QAシステム
自然言語で書かれた質問に対し、文書や知識源をもとに回答を生成・抽出するシステム
テキスト要約
Text Summarization / 文書要約
長い文章の要点を保持しながら短い文章へ圧縮するタスク
感情分析
Sentiment Analysis / 評判分析 / Opinion Mining
文章に含まれる書き手の感情や評価の極性(ポジティブ・ネガティブなど)を推定するタスク
知識ベースQA
Knowledge-based Question Answering / KB-QA
ナレッジグラフ等の構造化知識ベースを情報源として質問に回答するQA手法
オープンドメインQA
Open-domain Question Answering
特定分野に限らず幅広いトピックの質問に、大規模な文書集合から回答するQA手法
ニューラル機械翻訳
Neural Machine Translation / NMT
ニューラルネットワークにより翻訳確率を学習し、文全体の文脈を踏まえた訳文を生成する機械翻訳手法
抽出型要約
Extractive Summarization
原文中の重要な文をそのまま抜き出して並べる要約手法
生成型要約
Abstractive Summarization
原文の内容を理解した上でモデルが新しい文章として要約を生成する手法
極性検出
Polarity Detection
文章に含まれる感情や評価の極性(ポジティブ・ネガティブ・ニュートラル)を判定するタスク
感情分類
Sentiment Classification
テキストを喜び・怒り・悲しみなどの感情カテゴリやポジ・ネガのラベルに分類するタスク