モデルモニタリングとは
Model Monitoring
本番環境に配置したモデルの性能・入出力分布・データドリフトなどを継続的に観測し、劣化を早期に検知する運用プラクティス
概要
モデルモニタリングは、本番環境にデプロイした機械学習モデルの振る舞いを継続的に観測する運用プラクティス。推論のレイテンシやエラー率といったシステム面の指標に加え、予測精度や入力データの分布が学習時から変化していないか(データドリフト・コンセプトドリフト)、出力の分布に偏りが生じていないかといったモデル固有の指標を監視対象とする。 LLMを用いたアプリケーションでは、これに加えてハルシネーションの発生率やプロンプトの傾向変化、トークンコストの推移なども監視対象となることが多い。監視結果は、モデルの再学習や再デプロイのタイミングを判断する材料として使われ、MLOpsのパイプラインの一部として組み込まれる。
利点
- 本番環境での性能劣化やデータドリフトを早期に検知し、問題が深刻化する前に対処できる
- 再学習・再デプロイの要否・タイミングを判断する客観的な材料が得られる
欠点
- 監視基盤の構築・維持にコストがかかり、監視すべき指標の設計にはドメイン知識が必要
- ドリフトを検知しても、原因の特定や対処には追加の分析が必要になることが多い