Re Reference AI
メモリ最適化に関連する用語(2件)
Gradient Checkpointing / Activation Checkpointing
順伝播時の中間活性化の一部を保存せず、逆伝播時に再計算することでメモリ使用量を削減する学習手法
Memory Efficiency
限られたGPU・デバイスメモリでより大きなモデルやバッチを学習・推論できるようにする技術群の総称