トークンとは?関連技術・用語一覧
トークンは、LLMがテキストを処理する際の最小単位です。単語や文字の断片に相当し、コンテキストウィンドウの長さやAPI課金の単位としても使われる基本概念です。
トークンに関連する用語(1件)。定義・仕組みはトークンの用語ページで解説。
Re Reference AI
トークンは、LLMがテキストを処理する際の最小単位です。単語や文字の断片に相当し、コンテキストウィンドウの長さやAPI課金の単位としても使われる基本概念です。
トークンに関連する用語(1件)。定義・仕組みはトークンの用語ページで解説。