Re Reference AI

推論サーバーとは?関連技術・用語一覧

推論サーバーは、モデルの推論リクエストを効率的に処理する専用ソフトウェア・システムです。vLLMやTriton Inference Serverなどが代表例で、バッチ処理やキャッシュで高スループットを実現します。

推論サーバーに関連する用語(1件)

推論サーバー関連のインフラ(1件)

Triton Inference Server

Triton

NVIDIAが提供する、複数のフレームワークで学習したモデルを統一的にデプロイ・実行できるオープンソースの推論サーバー

インフラ推論サーバーデプロイ