Re Reference AI

スループットとは?関連技術・用語一覧

スループットは、単位時間あたりに処理できるリクエスト数やトークン数を表す性能指標です。推論サーバーの効率やバッチ処理の最適化に直結し、サービス運用コストを左右します。

スループットに関連する用語(3件)。定義・仕組みはスループットの用語ページで解説。

スループット関連の技術(2件)

バッチ推論

Batch Inference

複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法

技術推論最適化スループット

連続バッチ処理

Continuous Batching

生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式

技術推論最適化スループット

スループット関連のインフラ(1件)

レイテンシ最適化

Latency Optimization

LLMの応答速度(初回トークン生成までの時間や生成全体の所要時間)を短縮するための各種技術の総称

インフラ推論最適化スループット

関連するタグ

推論最適化