Re Reference AI

インフラ

OpenVINOとは

OpenVINO Toolkit / Open Visual Inference and Neural network Optimization

Intelが開発する、学習済みモデルを最適化してIntel製ハードウェアで推論するためのオープンソースのツールキット

推論最適化Intel

最終更新:

ひとことで言うと

Intelが公開している、AIのモデルをIntelのCPUやGPU、NPUで速く動かすためのソフトウェア。

概要

OpenVINOとは、Intelが開発するオープンソースの推論最適化・実行ツールキット。Apache License 2.0で公開されている。 PyTorch、TensorFlow、ONNX、PaddlePaddleなどで作成したモデルを読み込み、独自の中間表現(IR)に変換・最適化したうえで、IntelのCPU、内蔵・外付けGPU、NPUなどで推論する。デバイス名を指定するだけで実行先を切り替えられる。 モデル圧縮のためのNNCF(Neural Network Compression Framework)を使った量子化や、LLM・画像生成モデルの推論を扱うOpenVINO GenAIも提供されている。 名称はOpen Visual Inference and Neural network Optimizationの略で、当初はコンピュータビジョン向けの推論を主な対象としていた。現在は自然言語処理や音声、生成AIのモデルも対象にしている。

コード例

インストール

pip install openvino

ONNXモデルをCPUで推論用にコンパイルする

import openvino as ov

core = ov.Core()
compiled_model = core.compile_model("model.onnx", "CPU")

関連する用語

推論最適化TensorRTエッジAINPU量子化ONNXvLLMModel RouterSGLangGroqllm-dレイテンシ最適化

参考文献