レイテンシ最適化とは
Latency Optimization
LLMの応答速度(初回トークン生成までの時間や生成全体の所要時間)を短縮するための各種技術の総称
概要
レイテンシ最適化は、LLM推論において、リクエストを送ってから応答が返るまでの遅延時間を短縮するための各種技術の総称。 Speculative Decodingのように生成トークン数自体を減らすアプローチ、Continuous Batchingのようにサーバー側のリクエスト処理効率を上げるアプローチ、KVキャッシュや量子化のようにモデルの計算・メモリ負荷を減らすアプローチなどが含まれる。 目的は共通するが、アプローチの異なる複数の技術によって実現される。 スループット最適化がバッチ全体の処理量最大化を目的とするのに対し、レイテンシ最適化は個々のリクエストへの応答の速さを重視する点で異なる。
比較
- 投機的デコーディング — Speculative Decodingは、生成トークン数を実質的に減らしてレイテンシを短縮する具体的な手法の1つ
- 連続バッチ処理 — Continuous Batchingは主にスループット向上を目的とするが、待ち時間短縮を通じてレイテンシ改善にも寄与する
- KVキャッシュ — KVキャッシュは、過去の計算結果を再利用してレイテンシを下げる基盤的な仕組み