回避攻撃（推論迂回）とは

Evasion Attack / 推論迂回 / 推論回避

推論時に入力を細工し、分類器や検知システムの判定をすり抜けさせる攻撃の総称

ひとことで言うと

スパムやマルウェアなどをAIの検知システムが「問題なし」と誤判定するよう、入力側をこっそり細工する攻撃。

概要

回避攻撃は、学習済みの機械学習モデルに対し、推論(テスト)時に入力データを細工することで、分類器や検知システムの判定を意図的にすり抜けさせる攻撃の総称。スパムフィルタやマルウェア検知、不正利用検知など、悪意あるデータを「問題あり」と判定するために作られたセキュリティ系の分類器を主な標的とし、判定を「問題なし」側へ誘導するように攻撃者が入力を操作することが多い。攻撃手法としては、対象モデルの勾配情報を利用して判定境界の外側へ入力を移動させる手法や、入出力の観察だけから境界を推定するブラックボックス手法がある。画像分類モデルに対する敵対的サンプルは、回避攻撃を実現する代表的な技術のひとつにあたる。回避攻撃が学習済みモデルに対する推論時点の攻撃であるのに対し、データポイズニングは学習データ自体を汚染してモデルの挙動をあらかじめ歪める攻撃であり、両者は攻撃のタイミング(推論時/学習時)で区別できる。

背景

スパムフィルタやマルウェア検知器のように悪意あるデータを判別する目的で作られた分類器は、攻撃者にとって「検知されないこと」自体が目的になるため、判定境界を回避しようとする攻撃者との間でいたちごっこが起きやすい。回避攻撃は、この検知システムに対する適応的な攻撃者の存在を前提とした、セキュリティ応用に固有の脅威モデルとして研究されてきた。

歴史

2013年: Biggioらが論文Evasion Attacks against Machine Learning at Test Timeで、スパムフィルタやマルウェア検知器を主な題材に、テスト時の入力操作によって分類器の判定をすり抜ける回避攻撃を勾配ベースの手法として体系化。

アーキテクチャ

攻撃者は対象分類器の判定境界に関する知識(勾配情報が得られるホワイトボックス、出力のみ観察できるブラックボックスなど)に応じて、悪意あるサンプルを判定境界の「問題なし」側へ移動させるための摂動を探索する。勾配情報が使える場合は、判定スコアを下げる方向への勾配を計算し、その方向へ入力を繰り返し更新する。ブラックボックス設定では、対象システムへの問い合わせを繰り返して境界の位置を推定したり、別途用意した代替モデル上で生成した回避サンプルの転移性を利用したりする。

ワークフロー

攻撃者が対象検知システムへの知識(勾配情報の有無など)を確認する。 悪意あるサンプルに対し、判定を「問題なし」側へ動かす摂動を勾配ベースまたは問い合わせベースで探索する。 摂動を加えたサンプルを対象システムへ送信し、検知をすり抜けられるか検証する。 検知された場合は摂動の探索を繰り返す。

欠点

• スパムフィルタやマルウェア検知、不正利用検知などセキュリティ系分類器の実効性を低下させる
• 攻撃者がシステムへの問い合わせを繰り返すブラックボックス設定でも成立しうるため、モデル内部を秘匿するだけでは防ぎきれない
• 検知精度を上げるための再学習や監視の強化は、正規利用者への誤検知(false positive)増加とのトレードオフになりやすい

比較

• 敵対的サンプル — 回避攻撃は検知システムをすり抜けるという目的に着目した攻撃の総称であり、敵対的サンプルはその目的を実現する代表的な入力データの一種という関係にある
• バックドア攻撃 — 回避攻撃は学習済みモデルに対する推論時点の攻撃であるのに対し、バックドア攻撃は学習時にモデル自体へ不正な挙動をあらかじめ仕込む点が異なる
• データポイズニング — 回避攻撃が推論時に入力側を操作するのに対し、データポイズニングは学習データを汚染してモデルの判定境界自体を歪める点が異なる

関連用語

よくある質問

参考文献

• Research PaperEvasion Attacks against Machine Learning at Test Time