重要度評価とは

Importance Scoring / Saliency Scoring

モデル内の重み・ニューロン・層が出力にどの程度寄与しているかを定量化し、削減対象の判断に用いる評価

ひとことで言うと

モデルのどの部分が結果にどれだけ影響しているかを数値化し、削ってよい部分を見極める評価。

概要

重要度評価とは、ニューラルネットワークを構成する個々の重み・ニューロン・アテンションヘッド・層が、モデルの出力にどの程度寄与しているかを何らかの指標で定量化する評価を指す。重要度の指標には、重みの絶対値の大きさを用いる単純な方法から、損失関数に対する勾配や、その要素を取り除いた場合の出力への影響度(感度)を用いる方法まで幅がある。算出された重要度の低い要素から優先的に削減することで、精度低下を抑えながらプルーニングやスパース化を行える。どの重要度指標を採用するかによって、削減後のモデルの精度や、評価自体にかかる計算コストが変わる。

利点

• 削減による精度低下を抑えながらプルーニングやスパース化を行うための、客観的な判断基準を与える
• 重み単位・ニューロン単位・層単位など、目的に応じて異なる粒度で評価を設計できる

欠点

• 重要度の算出自体に、順伝播・逆伝播や感度分析といった追加の計算コストがかかりうる
• 採用する指標によって重要度の評価結果が異なり、削減対象の判断が指標依存になりやすい

比較

• プルーニング — プルーニングは重要度評価の結果にもとづいて、寄与の小さい重みやニューロンを実際に削減する処理にあたる
• スパース化 — 重要度評価は、スパース化においてどの要素を0または未使用にするかを決めるための判断材料として用いられる

関連用語