ML Kitとは

ML Kit for Firebase

テキスト認識・バーコードスキャン・顔検出等の学習済みモデルをAndroid/iOSアプリへ組み込める、Googleのオンデバイス機械学習SDK

ひとことで言うと

文字認識やバーコード読み取り、顔検出等の機能を、スマホアプリへ簡単に追加できるGoogle製の開発キット。

概要

ML Kitとは、Googleが提供するモバイルアプリ向けの機械学習SDKで、テキスト認識・バーコードスキャン・顔検出・ポーズ検出・画像ラベリング・言語識別・翻訳等の学習済みモデルを、Android/iOSアプリへAPI呼び出しだけで組み込める。 多くのAPIが端末上(オンデバイス)で推論を完結させる設計で、ネットワーク接続なしで高速に動作し、データを外部へ送信しない。 近年はGemini Nano等の生成AIモデルを端末上で利用する「GenAI API」(要約・校正・画像説明等)も追加されており、対応領域は認識系タスクから生成系タスクへ拡大している。

背景

モバイルアプリへ文字認識や顔検出等の機械学習機能を組み込む場合、モデルの学習・変換・最適化・推論コードの実装を開発者自身で行う必要があり、専門知識と開発コストを要した。ML Kitは、Google社内で磨き上げた学習済みモデルを簡易なAPI越しに提供することで、機械学習の専門知識がなくてもモバイルアプリへ認識機能を組み込めるよう開発された。

歴史

2018年5月: Google I/OでFirebaseのモジュール「ML Kit for Firebase」としてベータ公開。 2020年6月: オンデバイスAPI群がFirebaseから分離され、Firebaseプロジェクトを必要としないスタンドアロンのML Kit SDKとして提供開始。 以降、顔メッシュ検出等のVision APIに加え、Gemini Nanoを用いた要約・校正等のGenAI APIが追加されている。

利点

• テキスト認識・バーコードスキャン・顔検出等の主要な認識タスクを、モデルの学習・実装なしにAPI呼び出しだけで組み込める
• 多くのAPIがオンデバイス推論のため、ネットワーク接続不要かつデータを外部へ送信せず動作できる

欠点

• 提供されているAPIの認識対象・精度は固定的で、独自データでの再学習等のカスタマイズには制約がある
• 一部の高精度APIはクラウド処理に依存し、オンデバイスAPIと比べて通信環境や処理速度の制約を受ける

比較

• MediaPipe — ML KitがAPI呼び出しで完結する既製の認識機能群を提供するのに対し、MediaPipeはCalculatorを組み合わせグラフとして推論パイプラインを自由に構築できる、より低レベルなフレームワーク
• エッジAI — ML Kitは、エッジAIの実践例として、モバイル端末上でのオンデバイス推論を主軸に据えたSDK

関連用語

よくある質問

参考文献

• Official WebsiteML Kit | Google for Developers
• BlogIntroducing ML Kit for Firebase
• BlogOn-device machine learning solutions with ML Kit, now even easier to use