エッジAIとは
Edge AI
クラウド上のサーバーではなく、スマートフォンやIoT機器等の端末上でAIモデルを推論する仕組み
ひとことで言うと
クラウドではなく、スマホやセンサーなど手元の機器でAIを動かす仕組み。
概要
エッジAIとは、クラウド上の大規模なサーバーへ処理を送るのではなく、スマートフォン・IoTデバイス・車載機器等、データが発生する端末(エッジ)側でAIモデルの推論を直接実行する仕組みを指す。 ネットワーク通信を介さずその場で処理が完結するため、応答の遅延(レイテンシ)を抑えられるほか、通信が不安定・不可能な環境でも動作できる。 端末の計算資源・メモリ・電力には制約があるため、量子化や知識蒸留、SLM(小規模言語モデル)といったモデル軽量化技術と組み合わせて運用されることが多い。
背景
クラウドAPI経由でAI推論する構成では、通信の遅延や通信費用、プライバシーに関わるデータを外部サーバーへ送信する必要がある等の課題があった。 エッジAIは、推論処理を端末側で完結させ、低遅延・オフライン動作・データのローカル処理といった要件へ対応するために発展してきた。
利点
- ネットワーク通信を介さないため、応答の遅延を抑えられ、オフライン環境でも動作できる
- データを外部サーバーへ送信せず端末内で処理を完結できるため、プライバシー・セキュリティ面で有利な場合がある
欠点
- 端末の計算資源・メモリ・バッテリーには制約があり、大規模モデルをそのまま実行するのは難しい
- 量子化や蒸留等でモデルを軽量化する分、クラウド上の大規模モデルと比べて精度は低下することがある