Re Reference AI

トークナイゼーションとは?関連技術・用語一覧

トークナイゼーションは、テキストをモデルが処理できる最小単位(トークン)に分割する処理です。BPEなどのアルゴリズムが使われ、語彙設計はモデルの効率と多言語対応に影響します。

トークナイゼーションに関連する用語(8件)。定義・仕組みはトークナイゼーションの用語ページで解説。

トークナイゼーション関連の技術(8件)

トークン

Token

LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位

技術NLPトークナイゼーションLLM

N-gram

Nグラム

テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法

技術言語処理トークナイゼーション

Byte Pair Encoding

BPE / バイトペアエンコーディング

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

技術トークナイゼーション自然言語処理

トークナイゼーション

Tokenization / トークン化 / トークナイザー

テキストをモデルが扱う最小単位であるトークンの列へ分割する処理

技術トークナイゼーションNLP

パディング

Padding

長さの異なる系列をバッチにまとめるため、短い系列の末尾や先頭に特殊トークンを詰めて長さを揃える処理

技術トークナイゼーション学習

サブワード

Subword / サブワード分割

単語と文字の中間の単位でテキストを分割し、語彙数を抑えながら未知語にも対応するトークン化の考え方

技術トークナイゼーションNLP

語彙

Vocabulary / ボキャブラリー / Vocab

トークナイザーとモデルが扱えるトークンの集合と、各トークンに割り当てたIDの対応表

技術トークナイゼーションNLP

OOV

Out-of-Vocabulary / 未知語 / 語彙外

モデルやトークナイザーの語彙に含まれていない単語。また、それにより入力を正しく表現できない問題

技術トークナイゼーションNLP

関連するタグ

NLPLLM言語処理自然言語処理学習