トークナイゼーションとは
Tokenization / トークン化 / トークナイザー
テキストをモデルが扱う最小単位であるトークンの列へ分割する処理
ひとことで言うと
文章をAIが読める細かい部品（トークン）に切り分ける処理。切り方しだいでAIの効率や得意・不得意が変わる。
概要
トークナイゼーションとは、テキストをモデルが扱う最小単位であるトークンの列へ分割する処理を指す。分割するプログラムはトークナイザーと呼ばれる。 単語単位や文字単位の分割に対し、現在のLLMでは頻出パターンをまとめるサブワード分割（BPEやUnigram法など）が主流で、未知語への頑健さと語彙サイズのバランスを取る。 トークンの区切り方は、モデルの処理コスト・多言語の効率・数値や文字列の扱いに直結する。日本語はアルファベット圏の言語より1文字あたりのトークン数が多くなりやすいなど、言語による差も生む。
歴史
サブワード分割の代表であるBPEは、2016年に機械翻訳向けの手法として導入されたものがLLMへ受け継がれている。