解釈可能性（Interpretability）とは

Interpretability

モデルの内部構造や判断過程を人間がどの程度理解できるかを表す性質、およびそれを高めるための研究分野

ひとことで言うと

AIの中身や判断の仕組みが、人にとってどれくらい分かりやすいかという性質。

概要

解釈可能性(Interpretability)とは、機械学習モデルの内部構造や判断過程を人間がどの程度理解できるかを指す性質、およびそれを高めるための研究分野。 決定木や線形回帰のようにモデル自体の構造が単純で、人間にも直接理解しやすい「本質的な解釈可能性」と、深層学習モデルのように複雑なモデルに対し事後的に説明を生成する「事後的な解釈可能性」に大別される。 Explainable AI(説明可能AI)が個々の予測の根拠を人間に提示する技術・手法を指すのに対し、解釈可能性はモデルそのものが持つ理解しやすさという性質・研究分野を指す、より広い概念として位置づけられることが多い。 Mechanistic Interpretability(メカニスティック解釈可能性)は、解釈可能性研究の中でも内部回路レベルでの理解を目指す、より踏み込んだアプローチにあたる。

歴史

解釈可能性という研究領域は、2016年にZachary C. Liptonが発表した論文「The Mythos of Model Interpretability」を通じて、その定義や必要性が広く議論されるようになった。

利点

• モデルの判断過程を人間が検証できることで、誤りやバイアスの発見につながる
• 規制当局や利用者への説明責任を果たしやすくなる

欠点

• 精度と解釈可能性の間には、トレードオフが生じることもある
• 「解釈可能」の基準が定量化しにくく、研究間で評価方法が統一されていない

比較

• 説明可能AI — 解釈可能性はモデルの性質・研究分野を指すのに対し、説明可能AIは個々の予測の根拠を提示する技術・手法を指す
• メカニスティック解釈可能性 — メカニスティック解釈可能性は、解釈可能性研究の中でも内部回路の解明を目指す一分野

関連用語

参考文献

• Research PaperThe Mythos of Model Interpretability