プロンプトインジェクション対策。AI エージェントで起きることと会社の守り方

プロンプトインジェクションは、AI への入力によって、AI が意図しない動きや出力をしてしまう弱点です（OWASP）。利用者が自分の入力で起こす直接型と、AI がウェブページやファイルなど外部から読み込んだ内容に指示が含まれている間接型があります。

AI エージェントに外部の文章を読ませる会社で、特に問題になるのは間接型です。NIST は、間接型は利用者ではなく第三者が仕掛けるもので、多くの場合は利用者の側が被害を受けると説明しています。AI がメールを要約する、ウェブで調べる、リポジトリのファイルを読む、といった仕事をするたびに、外部の文章が AI に届きます。OpenAI は、プロンプトインジェクションを対話型 AI に特有の、人をだます攻撃（ソーシャルエンジニアリング）の一種と位置づけています。人をだますフィッシングの文面が、人ではなく AI に向けられる形です。

IPA は「情報セキュリティ10大脅威 2026」の組織向け 3 位に「AI の利用をめぐるサイバーリスク」を初めて選び、解説書で間接プロンプトインジェクションについて「技術的対策で完璧なものは知られていません」と書いています。英国の NCSC（国家サイバーセキュリティセンター）も、今の大規模言語モデルはプロンプトの中で指示とデータの境目を持たないため、SQL インジェクションのようには完全に緩和できない可能性があると述べています。

1. 任せる仕事を決めるNCSC は、残るリスクを受け入れられないシステムは、大規模言語モデルを使うのに向いていない可能性があると述べています。お金を動かす、顧客の個人情報を外に出す、といった操作を AI だけで完結させる使い方は避けます。
2. 権限とつなぐデータを絞るOWASP は、モデルの権限を目的に必要な最小限にするよう挙げています。Microsoft は、間接型の攻撃は AI が利用者と同じ権限で動くことを前提にしているため、細かな権限とアクセス制御で確実に抑えられると説明しています。AI セーフティ・インスティテュートの評価観点ガイドも、AI エージェントが必要な情報とツールだけに触れられるかを確かめる項目を挙げています。
3. 重要な操作は人が承認するOWASP は、権限の要る操作に人の確認を挟むよう挙げています。OpenAI の AI エージェントは購入などの重要な操作の前に止まって確認を求め、Anthropic のブラウザ操作 AI も、公開、購入、個人情報の共有の前に利用者に確かめます。承認する人は、確認の画面の中身を読んでから承認します。
4. 外部の文章を指示と分けるOWASP は、外部の内容を分けて印を付けるよう挙げ、NIST は信頼できるデータとできないデータを AI が区別しやすくする工夫（spotlighting）を紹介しています。ただし Microsoft は、この工夫を確率的な対策と位置づけています。NCSC は、禁止の語句を並べて止めるやり方には注意するよう書いています。
5. 記録を残して見直すNCSC は、怪しい動きを見つけられるだけの記録を残すよう勧め、その例として AI の入力と出力のすべてや、ツールの使用、API の呼び出しを挙げています。
6. 試験するOWASP は攻撃を想定した試験を挙げ、AI セーフティ・インスティテュートも、攻撃を想定したテストデータでの動作試験と、危険な操作のときに人が止められるかの確認試験を挙げています。

対策の効き方の違い

Microsoft は、AI の判断に頼らない決定的な対策のほうが、確かな保証があるため望ましいとしています。

サイバーセキュリティ連盟が 2026年10月21日に公表した民間の調査（Web サイトや Web サービスの運営に関わる 500 名が回答）では、生成 AI や AI エージェントの利用に伴う対策として、プロンプトインジェクションなど AI 特有の攻撃への検証をしているのは 20.6%、AI エージェントの外部システムなどへの権限の制限は 18.0% でした。最も多い対策は社内ルールやガイドラインの整備で 38.6% です。回答者の範囲が限られた調査で、国内企業全体の割合ではありません。

社員が勝手に使う AI の扱いはシャドーAI のガイドにまとめています。開発者が使う AI のコード支援ツールは、取り込んだリポジトリのファイルに仕込まれた指示でも動くため、他人のコードを取り込むときのサプライチェーン攻撃と同じ注意が要ります。