DeepSpeedとは
ZeRO
ZeROによる分散学習を中心に、大規模モデルの学習・推論を効率化するMicrosoftのオープンソースライブラリ
ひとことで言うと
概要
DeepSpeedとは、Microsoftが開発する、大規模モデルの学習・推論を効率化するオープンソースの深層学習最適化ライブラリを指す。 オプティマイザ状態・勾配・パラメータをGPU間で分割して保持するZeROにより、1枚のGPUに載らない規模のモデルの分散学習を可能にする。 PyTorch上で動作し、パイプライン並列・テンソル並列・CPUへのオフロードなどを組み合わせて、数百億から数千億パラメータ級のモデル学習を支える標準的な基盤の1つとして使われてきた。
歴史
2020年2月にMicrosoftがZeROの論文とともに公開した。
関連用語
参考文献
- Official WebsiteDeepSpeed