Re Reference AI
コスト削減に関連する用語（1件）
コスト削減は、AIモデルの学習・推論にかかる計算資源や費用を抑えるための技術・手法です。量子化、キャッシュ、小規模モデルの活用などにより運用コストを最適化します。
Prompt Caching / Context Caching
プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み