推論サーバー

推論サーバーに関連する用語（1件）

推論サーバーは、モデルの推論リクエストを効率的に処理する専用ソフトウェア・システムです。vLLMやTriton Inference Serverなどが代表例で、バッチ処理やキャッシュで高スループットを実現します。