NLP
NLPに関連する用語（11件）
NLP（Natural Language Processing、自然言語処理）は、人間の言語をコンピュータで理解・生成・分析する技術分野です。翻訳・要約・感情分析など多様なタスクを含み、LLMの登場で大きく進化しました。
用語一覧
LLM
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
Transformer
注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ
RAG
検索拡張生成 / Retrieval-Augmented Generation
検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法
コーパス
Corpus / テキストコーパス
言語モデルの学習・分析に使われる、構造化されたテキストデータの集合
トークン
Token
LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位
BERT
Bidirectional Encoder Representations from Transformers
文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル
SLM
Small Language Model / 小規模言語モデル
数億〜数十億パラメータ程度の、軽量で特定用途に最適化された言語モデル
Embedding
埋め込み / 埋め込みベクトル
テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現
トークナイゼーション
Tokenization / トークン化 / トークナイザー
テキストをモデルが扱う最小単位であるトークンの列へ分割する処理
Sentence-BERT
SBERT
シャム(Siamese)ネットワーク構造でBERTを微調整し、コサイン類似度で比較可能な文単位の埋め込みを高速に得られるモデル
MLM
Masked Language Model / マスク化言語モデル
入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法