Re Reference AI
スループットに関連する用語（3件）
スループットは、単位時間あたりに処理できるリクエスト数やトークン数を表す性能指標です。推論サーバーの効率やバッチ処理の最適化に直結し、サービス運用コストを左右します。
Batch Inference
複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法
Continuous Batching
生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式
Latency Optimization
LLMの応答速度(初回トークン生成までの時間や生成全体の所要時間)を短縮するための各種技術の総称