インテリジェントビジョンセンサーとは
Intelligent Vision Sensor / AIセンサー
撮像回路にAI推論用のプロセッサとメモリを一体化し、撮像からAI処理までをセンサー単体で完結できるイメージセンサー
ひとことで言うと
カメラのセンサー自体がAIで映像を解析し、必要な情報だけを出力できるイメージセンサー。
概要
インテリジェントビジョンセンサーとは、イメージセンサー内へ、画像処理回路に加えAI推論するプロセッサ・メモリを一体化させ、撮像から物体検出等のAI処理までをセンサー単体で完結できるビジョンセンサーを指す。 画素を配置した「画素チップ」と、ISP(画像信号処理)およびAI推論専用のDSPとAIモデル格納用メモリを搭載した「ロジックチップ」を積層する構造を取り、動画の1フレーム内でISP処理とAI推論を完結させることで高速なリアルタイム処理を実現する。 従来型のシステムでは撮像した画像データをプロセッサやクラウドへ転送してAI処理する必要があったのに対し、インテリジェントビジョンセンサーは検出結果等の軽量なメタデータのみを出力するため、データ転送量・消費電力・通信コストを削減できる。画像そのものは外部へ送信しないため、プライバシー配慮の面でも有利。 センサー内のAIモデルは書き換え可能で、用途に応じて同一ハードウェアを使い分けられる。
背景
従来のカメラ・イメージセンサーを用いたAI画像認識システムでは、撮像した画像データを外部のプロセッサやクラウドへ転送した上でAI処理する構成が一般的で、データ転送に伴う遅延・帯域消費・消費電力、および画像データを外部へ送信することによるプライバシー上の懸念があった。インテリジェントビジョンセンサーは、AI推論機能をイメージセンサー自体へ統合し、これらの課題を解決するために開発された。
歴史
2020年5月14日: ソニーセミコンダクタソリューションズが、世界初(同社調べ)のAI処理機能搭載インテリジェントビジョンセンサー「IMX500」「IMX501」を発表。 以降、Raspberry Pi AI CameraをはじめIMX500を搭載した各種エッジAIデバイスが登場している。
アーキテクチャ
有効約1230万画素の裏面照射型画素を配置した「画素チップ」と、通常のイメージセンサーが持つ信号処理回路に加えAI推論専用のDSPとAIモデルを書き込めるメモリーを搭載した「ロジックチップ」を積層する構造を取る。画素チップから得た信号をロジックチップでISP処理・AI処理し、検出対象をメタデータとして出力する。
利点
- 撮像とAI推論をセンサー単体、かつ動画の1フレーム内で完結でき、高精度なリアルタイムトラッキングが可能
- 画像データではなく軽量なメタデータのみを出力するため、データ転送量・消費電力・通信コストを削減でき、プライバシーにも配慮できる
- AIモデルをメモリー上で書き換えられるため、同一ハードウェアを用途に応じて使い分けられる
欠点
- センサー内蔵のDSP・メモリーで実行できるAIモデルの規模には制約があり、大規模なモデルはそのまま搭載できない
- 汎用イメージセンサーと比べ、AI処理機能を搭載する分コストが高くなりやすい
比較
- NPU — NPUがスマートフォン等のSoC上に搭載されAI推論を担う専用プロセッサであるのに対し、インテリジェントビジョンセンサーはイメージセンサー自体にAI推論機能を統合したデバイス
- エッジAI — インテリジェントビジョンセンサーは、撮像とAI推論をセンサー単体で完結させる、エッジAIの実装形態の1つ
- スマート人感センサー — インテリジェントビジョンセンサーが画像認識によりセンサー上でAI処理を行うのに対し、スマート人感センサーは主に画像を伴わないPIR・ミリ波レーダー等のセンシング手法にAIを組み合わせる