ホームお知らせ記事詳細
YouTube

AIエージェント・RAGの危険な落とし穴|間接プロンプトインジェクションの実演と対策

社内データをAIに読ませて答えさせるRAGに、悪意あるデータを1件混ぜるだけで、利用者本人の個人情報が外部へ流出する。その実演と対策を解説した動画です。間接プロンプトインジェクションの仕組みと、設計で守る具体策を紹介します。

AIエージェント・RAGの危険な落とし穴|間接プロンプトインジェクションの実演と対策

YouTubeで、社内データをAIに読ませて答えさせる「RAG」の落とし穴を、実際に動くシステムで実演した動画を公開しました。悪意あるデータをたった1件混ぜられるだけで、無関係な利用者の個人情報が外部へ流出してしまう様子を見ていきます。

攻撃者はAIに一言も話しかけません。データを1件置くだけで、別の利用者のふつうの質問が引き金になります。これが間接プロンプトインジェクションです。

この動画で分かること

  • RAGが「外部データを検索してAIに読ませる」仕組みであり、そこが攻撃の入口になること
  • レビューを1件投稿するだけで、利用者本人の個人情報が外部サーバーへ送られる実演
  • どこに穴があったか(信用できないデータの混入・不要な個人情報・強すぎるツール権限)
  • 設計で守る対策(データの分離・アクセス制御・権限の最小化・人の承認とログ)

こんな方に

  • RAGやAIエージェントを自分で作っている、または社内に導入しようとしている方
  • AIチャットに社内データやツールを繋ぐときの、セキュリティ設計を知りたい方

補足:本編は防御・啓発が目的です。実演はすべて使い捨ての環境で、データはダミーを使用しています。

ZELK 公式チャンネル