NLPとは?関連技術・用語一覧
NLP(Natural Language Processing、自然言語処理)は、人間の言語をコンピュータで理解・生成・分析する技術分野です。翻訳・要約・感情分析など多様なタスクを含み、LLMの登場で大きく進化しました。
NLPに関連する用語(26件)。定義・仕組みはNLPの用語ページで解説。
NLP関連のモデル(4件)
LLM
大規模言語モデル / Large Language Model
大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク
BERT
Bidirectional Encoder Representations from Transformers
文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル
SLM
Small Language Model / 小規模言語モデル
数億〜数十億パラメータ程度の、軽量で特定用途に最適化された言語モデル
Sentence-BERT
SBERT
シャム(Siamese)ネットワーク構造でBERTを微調整し、コサイン類似度で比較可能な文単位の埋め込みを高速に得られるモデル
NLP関連のアーキテクチャ(1件)
NLP関連の技術(20件)
RAG
検索拡張生成 / Retrieval-Augmented Generation
検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法
コーパス
Corpus / テキストコーパス
言語モデルの学習・分析に使われる、構造化されたテキストデータの集合
トークン
Token
LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位
Embedding
埋め込み / 埋め込みベクトル
テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現
トークナイゼーション
Tokenization / トークン化 / トークナイザー
テキストをモデルが扱う最小単位であるトークンの列へ分割する処理
MLM
Masked Language Model / マスク化言語モデル / マスク言語モデリング
入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法
機械翻訳
Machine Translation / MT
ある言語のテキストを別の言語のテキストへコンピュータが自動的に翻訳する技術
質問応答システム
Question Answering / QA / QAシステム
自然言語で書かれた質問に対し、文書や知識源をもとに回答を生成・抽出するシステム
テキスト要約
Text Summarization / 文書要約
長い文章の要点を保持しながら短い文章へ圧縮するタスク
感情分析
Sentiment Analysis / 評判分析 / Opinion Mining
文章に含まれる書き手の感情や評価の極性(ポジティブ・ネガティブなど)を推定するタスク
知識ベースQA
Knowledge-based Question Answering / KB-QA
ナレッジグラフ等の構造化知識ベースを情報源として質問に回答するQA手法
オープンドメインQA
Open-domain Question Answering
特定分野に限らず幅広いトピックの質問に、大規模な文書集合から回答するQA手法
ニューラル機械翻訳
Neural Machine Translation / NMT
ニューラルネットワークにより翻訳確率を学習し、文全体の文脈を踏まえた訳文を生成する機械翻訳手法
抽出型要約
Extractive Summarization
原文中の重要な文をそのまま抜き出して並べる要約手法
生成型要約
Abstractive Summarization
原文の内容を理解した上でモデルが新しい文章として要約を生成する手法
極性検出
Polarity Detection
文章に含まれる感情や評価の極性(ポジティブ・ネガティブ・ニュートラル)を判定するタスク
感情分類
Sentiment Classification
テキストを喜び・怒り・悲しみなどの感情カテゴリやポジ・ネガのラベルに分類するタスク
サブワード
Subword / サブワード分割
単語と文字の中間の単位でテキストを分割し、語彙数を抑えながら未知語にも対応するトークン化の考え方
語彙
Vocabulary / ボキャブラリー / Vocab
トークナイザーとモデルが扱えるトークンの集合と、各トークンに割り当てたIDの対応表
OOV
Out-of-Vocabulary / 未知語 / 語彙外
モデルやトークナイザーの語彙に含まれていない単語。また、それにより入力を正しく表現できない問題
NLP関連の評価(1件)
NLP関連の比較
BERT vs LLM
BERTはTransformerのエンコーダのみを用い、双方向の文脈参照によって文の理解に特化した事前学習済みモデル。LLM(大規模言語モデル)は、GPT系に代表されるデコーダのみの自己回帰型アーキテクチャを中心に、テキスト生成を含む幅広いタスクをこなす大規模モデルの総称。BERTも広義にはLLMの一種と位置づけられることがあるが、一般的な文脈でLLMという場合は生成能力を持つGPT系以降のモデルを指すことが多く、両者は「理解特化」と「生成中心の汎用モデル」という異なる方向性を代表する存在として対比される。
Transformer vs LLM
Transformerは自己注意機構(Self-Attention)で系列中のトークン間の関係をモデル化するニューラルネットワークアーキテクチャ、LLMはそのアーキテクチャを大規模なパラメータ数とコーパスで学習した言語モデル。Transformerが「設計図」、LLMがその設計図に基づいて大規模に学習された「モデル」という関係にある。
NLP関連の特集記事
NLP関連の年表
GPTの歴史
OpenAIが2018年のGPT-1から一貫して開発してきたGPTシリーズの変遷。ChatGPTによる一般普及からGPT-5に至るまでの主要リリースをたどる。
LLMの歴史
Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。
Transformerの歴史
自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。