トークン

トークンに関連する用語（1件）

トークンは、LLMがテキストを処理する際の最小単位です。単語や文字の断片に相当し、コンテキストウィンドウの長さやAPI課金の単位としても使われる基本概念です。