Re Reference AI

技術

ペネトレーションテスト（ペンテスト）とは

Penetration Testing / ペンテスト

許可を得た上でシステムへの侵入・攻撃を模擬的に試み、セキュリティ上の脆弱性を発見する手法

安全性評価

ひとことで言うと

許可を得た専門家が実際にシステムへの侵入を試して、セキュリティの穴を見つけるテスト。

概要

ペネトレーションテスト(Penetration Testing、通称ペンテスト)とは、許可を得た上で実際にシステムへの侵入や攻撃を模擬的に試み、セキュリティ上の脆弱性を発見・評価する手法。 元々はネットワークやWebアプリケーションを対象とするサイバーセキュリティの伝統的な手法だが、近年はLLMアプリケーションやAIシステムを対象に、プロンプトインジェクションやモデル抽出攻撃、権限昇格といったAI特有の脅威も評価対象に含めるケースが増えている。 OWASPが公開する「OWASP Top 10 for LLM Applications」のようなガイドラインは、LLMアプリケーションのペネトレーションテストにおける観点整理に用いられる。

歴史

ペネトレーションテスト自体は1960年代後半の米国防総省関連のコンピュータセキュリティ評価に起源を持つとされる、サイバーセキュリティの古典的な手法。 2023年、OWASPが「OWASP Top 10 for Large Language Model Applications」を公開し、LLMアプリケーションを対象としたセキュリティ評価の観点を整理した。

ワークフロー

テスト対象と許可範囲(スコープ)を合意 → 情報収集・偵察 → 既知の脆弱性や攻撃手法を用いた侵入の試行 → 発見した脆弱性の深刻度評価 → 結果を報告書にまとめ改善を提案。

利点

  • 実際の攻撃手法を用いた検証により、理論上だけでなく実運用上悪用可能な脆弱性を発見できる
  • 第三者による実施は、組織のセキュリティ対策に客観的な評価を与える

欠点

  • 専門的なスキルを持つ実施者や時間的なコストが必要になる
  • テスト実施時点での脆弱性の検証にとどまり、継続的な安全性を保証するものではない

比較

  • レッドチーミング — レッドチーミングはAIモデル自体の安全性に焦点を当てることが多いのに対し、ペネトレーションテストはシステム・インフラ全体のセキュリティ脆弱性を対象とする、より伝統的な手法
  • プロンプトインジェクション — LLMアプリケーションを対象としたペネトレーションテストでは、プロンプトインジェクションが主要な検証項目の1つになる

関連用語

レッドチーミングプロンプトインジェクションガードレール

参考文献