トークナイゼーション
トークナイゼーションに関連する用語（4件）
トークナイゼーションは、テキストをモデルが処理できる最小単位（トークン）に分割する処理です。BPEなどのアルゴリズムが使われ、語彙設計はモデルの効率と多言語対応に影響します。
用語一覧
トークン
Token
LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位
技術NLPトークナイゼーションLLM
N-gram
Nグラム
テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法
技術言語処理トークナイゼーション
Byte Pair Encoding
BPE / バイトペアエンコーディング
頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム
技術トークナイゼーション自然言語処理
トークナイゼーション
Tokenization / トークン化 / トークナイザー
テキストをモデルが扱う最小単位であるトークンの列へ分割する処理
技術トークナイゼーションNLP