Re Reference AI
スループットに関連する用語（2件）
スループットは、単位時間あたりに処理できるリクエスト数やトークン数を表す性能指標です。推論サーバーの効率やバッチ処理の最適化に直結し、サービス運用コストを左右します。
Batch Inference
複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法
Continuous Batching
生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式