Re Reference AI
サービングに関連する用語（2件）
サービングは、学習済みモデルを本番環境で推論リクエストに応答できる状態で提供することです。スループット・レイテンシ・コストの最適化が課題で、vLLMなどの専用ソフトウェアが使われます。
PagedAttentionによりGPUメモリを効率利用する、高スループットなオープンソースLLM推論・サービングエンジン
sgl-project
RadixAttentionによる接頭辞キャッシュの再利用を特徴とする、オープンソースのLLM推論サービング基盤