OpenVINOとは
OpenVINO Toolkit / Open Visual Inference and Neural network Optimization
Intelが開発する、学習済みモデルを最適化してIntel製ハードウェアで推論するためのオープンソースのツールキット
最終更新:
ひとことで言うと
概要
OpenVINOとは、Intelが開発するオープンソースの推論最適化・実行ツールキット。Apache License 2.0で公開されている。 PyTorch、TensorFlow、ONNX、PaddlePaddleなどで作成したモデルを読み込み、独自の中間表現(IR)に変換・最適化したうえで、IntelのCPU、内蔵・外付けGPU、NPUなどで推論する。デバイス名を指定するだけで実行先を切り替えられる。 モデル圧縮のためのNNCF(Neural Network Compression Framework)を使った量子化や、LLM・画像生成モデルの推論を扱うOpenVINO GenAIも提供されている。 名称はOpen Visual Inference and Neural network Optimizationの略で、当初はコンピュータビジョン向けの推論を主な対象としていた。現在は自然言語処理や音声、生成AIのモデルも対象にしている。
コード例
インストール
pip install openvinoONNXモデルをCPUで推論用にコンパイルする
import openvino as ov
core = ov.Core()
compiled_model = core.compile_model("model.onnx", "CPU")関連する用語
参考文献
- GitHubopenvinotoolkit/openvino
- DocumentationOpenVINO Documentation