オンデバイスAI（デバイス上AI）とは
On-device AI / デバイス上AI
クラウドにデータを送らず、スマートフォンやPCなどの端末上でAIモデルを動かして推論する技術
最終更新:
概要
オンデバイスAIは、スマートフォン・PC・家電などの端末自体でAIモデルを動かす方式。入力データを外部のサーバーへ送らずに処理できるため、プライバシーを保護しやすく、通信の遅延がなく、オフラインでも動作するといった利点がある。 端末の計算能力やメモリ、バッテリーには制約があるため、パラメータ数の少ない小規模言語モデル(SLM)を用いたり、量子化などでモデルを圧縮したりする工夫が必要になる。近年はスマートフォンやPCのプロセッサにNPUと呼ばれるAI処理用の回路が搭載され、端末上でLLMを動かす事例も増えている。 大きなモデルが必要な処理はクラウドに任せ、軽い処理は端末で行うといった、オンデバイスとクラウドを組み合わせる構成もとられる。工場の機器やネットワーク側の装置も含めて端末の近くで処理する考え方は、エッジAIと呼ばれる。
利点
- データを外部に送らないため、プライバシーを保護しやすい
- 通信の遅延がなく、オフラインでも動作する
欠点
- 端末の性能の制約から、大規模なモデルは動かしにくい
- モデルの更新を端末ごとに配布する必要がある