スループット（Throughput）とは
Throughput
単位時間あたりにシステムが処理できる量で、LLM推論では1秒あたりの生成トークン数やリクエスト数で表す性能指標
最終更新:
概要
スループットは、システムが一定時間内に処理できる仕事の量。LLMの推論サーバーでは、1秒あたりに生成できるトークン数(tokens/s)や、1秒あたりに処理できるリクエスト数で測ることが多い。1件のリクエストに応答するまでの時間を表すレイテンシと並ぶ、推論基盤の基本的な性能指標。 スループットとレイテンシはトレードオフの関係になりやすい。複数のリクエストをまとめて処理するバッチサイズを大きくするとGPUの利用効率が上がりスループットは向上するが、1件あたりの待ち時間は長くなりがち。vLLMなどの推論エンジンは、連続バッチング(Continuous Batching)やKVキャッシュのメモリ管理を工夫して、レイテンシを抑えつつスループットを高めている。 同じGPUでより多くのトークンを処理できれば1トークンあたりのコストが下がるため、サービスの運用コストにも直結する。