サービングとは?関連技術・用語一覧
サービングは、学習済みモデルを本番環境で推論リクエストに応答できる状態で提供することです。スループット・レイテンシ・コストの最適化が課題で、vLLMなどの専用ソフトウェアが使われます。
サービングに関連する用語(4件)
Re Reference AI
サービングは、学習済みモデルを本番環境で推論リクエストに応答できる状態で提供することです。スループット・レイテンシ・コストの最適化が課題で、vLLMなどの専用ソフトウェアが使われます。
サービングに関連する用語(4件)