モデルカードとは
Model Card
機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式
ひとことで言うと
AIモデルの「取扱説明書」。何に使えて何に使ってはいけないか、性能や弱点はどうかを整理した文書。
概要
モデルカードとは、機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式を指す。 想定される用途と対象外の用途、学習データの概要、属性グループ別を含む評価結果、既知のバイアスや制限などを記載し、モデルの利用者が適否を判断できるようにする。 Hugging Faceのモデルハブではモデル公開時の標準的な添付文書として定着し、LLMの公開時に各社が発表するシステムカードやテクニカルレポートもこの流れを汲む。 AI規制が求める透明性要件への対応手段としても位置づけられている。
歴史
2018年にGoogleの研究者ら（Mitchellら）が論文「Model Cards for Model Reporting」で提案した。
利点
- モデルの想定用途・制限・既知のバイアスを事前に把握でき、利用者が用途に合ったモデルを選びやすくなる
- 公開時の標準的なドキュメント形式として、モデル間の比較や監査を容易にする
欠点
- 記載内容の網羅性や正確性は提供者の自己申告に依存するため、第三者による検証は難しい
- 詳細さの水準が提供者ごとに異なり、標準化が徹底されているわけではない
関連用語
よくある質問
モデルカードとシステムカードの違いは何か。
明確な区別があるわけではないが、モデルカードが単体のモデルの仕様を記述するのに対し、システムカードは安全性評価やガードレールを含むシステム全体としての振る舞いを記述する傾向がある。
モデルカードはどこで確認できるか。
Hugging Faceのモデルハブでは各モデルのページにREADME形式で記載されるのが一般的で、主要なLLM提供企業もモデル発表時にテクニカルレポートやシステムカードとして公開している。
参考文献
- Research PaperModel Cards for Model Reporting (arXiv)