Re Reference AI
コスト削減に関連する用語（2件）
コスト削減は、AIモデルの学習・推論にかかる計算資源や費用を抑えるための技術・手法です。量子化、キャッシュ、小規模モデルの活用などにより運用コストを最適化します。
Prompt Caching / Context Caching
プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み
Token Optimization
LLM利用時のAPIコストや応答レイテンシを抑えるため、消費トークン量を減らす実践全般を指す総称