推論最適化
推論最適化に関連する用語（23件）
推論最適化は、モデルの推論速度・メモリ効率・コストを改善する技術です。量子化、KVキャッシュ、投機的デコーディングなど、多様な手法でサービス運用の効率を高めます。
用語一覧
KVキャッシュ
KV Cache / Key-Value Cache
自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み
投機的デコーディング
Speculative Decoding
小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法
バッチ推論
Batch Inference
複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法
vLLM
PagedAttentionによりGPUメモリを効率利用する、高スループットなオープンソースLLM推論・サービングエンジン
TensorRT
NVIDIA TensorRT
NVIDIA GPU上での推論を高速化する、NVIDIA製の推論最適化SDK
エッジAI
Edge AI
クラウド上のサーバーではなく、スマートフォンやIoT機器等の端末上でAIモデルを推論する仕組み
プロンプトキャッシュ
Prompt Caching / Context Caching
プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み
FlashAttention
GPUのメモリ階層を意識した計算順序により、通常のAttentionと同じ結果を高速かつ省メモリに計算するアルゴリズム
GQA
Grouped-Query Attention
複数のクエリヘッドをいくつかのグループに分け、グループ内でキー・バリューヘッドを共有するAttentionの構造
MQA
Multi-Query Attention
全てのクエリヘッドが単一のキー・バリューヘッドを共有し、KVキャッシュを最小限に抑えるAttentionの構造
Sliding Window Attention
スライディングウィンドウAttention
各トークンが固定サイズの近傍ウィンドウ内のみを参照することで、計算量を系列長に対して線形に抑えるAttentionの手法
Mixture-of-Depths
MoD
各トークンごとに処理へ使う層の数を動的に決め、計算量を必要最小限に絞るTransformerの設計
Model Router
モデルルーター / LLMルーター
リクエストの内容や要求される品質・コストに応じて、複数のLLMから最適なモデルを自動的に選択して振り分ける仕組み
MLA
Multi-head Latent Attention / マルチヘッド潜在注意
キーとバリューを低ランクの潜在ベクトルへ圧縮して保持し、KVキャッシュを削減する注意機構
SGLang
sgl-project
RadixAttentionによる接頭辞キャッシュの再利用を特徴とする、オープンソースのLLM推論サービング基盤
Groq
GroqCloud / LPU
LLM推論に特化した独自チップLPUを開発する半導体企業と、その高速推論クラウドサービス
連続バッチ処理
Continuous Batching
生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式
llm-d
Kubernetes上でLLM推論を分散オーケストレーションする、vLLMをベースにしたオープンソースの推論サービングフレームワーク
トークンマキシング
Token Maxxing
AIとのやり取りで消費するトークン量をあえて最大化し、出力品質や習熟度を高めようとする戦略
トークン消費最適化
Token Optimization
LLM利用時のAPIコストや応答レイテンシを抑えるため、消費トークン量を減らす実践全般を指す総称
推論最適化
Inference Optimization
学習済みモデルの推論時のレイテンシ・スループット・メモリ使用量を改善するための技術群の総称
レイテンシ最適化
Latency Optimization
LLMの応答速度(初回トークン生成までの時間や生成全体の所要時間)を短縮するための各種技術の総称
計算効率
Computational Efficiency
同じ性能をより少ない計算量・メモリ・時間で達成できるかを表す、モデルの学習・推論における効率性の指標