Re Reference AI

トークンとは?関連技術・用語一覧

トークンは、LLMがテキストを処理する際の最小単位です。単語や文字の断片に相当し、コンテキストウィンドウの長さやAPI課金の単位としても使われる基本概念です。

トークンに関連する用語(1件)。定義・仕組みはトークンの用語ページで解説。

トークン関連の技術(1件)

コンテキストウィンドウ

Context Window

LLMが一度の推論で参照できる入力・出力トークンの合計量の上限

技術LLMトークン

トークン関連の特集記事

RAG完全ガイド

RAG(検索拡張生成)の仕組みを、チャンキング・Embedding・ベクトルデータベース・ハイブリッド検索・リランカー・GraphRAG・Agentic RAGまで構成要素ごとに整理し、各用語の詳細ページへたどれるガイド。

技術

トークン関連の年表

Claudeの歴史

Anthropicが2023年に公開した対話型AI「Claude」の、Claude 2・Claude 3ファミリー・Computer Use・Claude Codeを経てClaude Sonnet 5に至るまでの変遷。

モデル8件のイベント / 2023 - 2026

関連するタグ

LLM