AIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え

AIの業務利用が広がるにつれて、AIに特有の弱点を突く攻撃や、AIを使って巧妙になった攻撃が話題になっています。この記事では、総務省のガイドラインとIPA（情報処理推進機構）の資料にそって、知っておきたい脅威と、会社として取れる備えを整理します。

AIのセキュリティは、何が新しいのですか？

IPAが毎年まとめる「情報セキュリティ10大脅威」の2026年版では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました。解説書では、AIへの理解が不十分なことによる情報漏えいや権利侵害、AIの出力を確かめずに使うことによる問題、AIの悪用による攻撃の容易化や手口の巧妙化などが挙げられています。

整理すると、新しい論点は次の3つに分けられます。

3つ目は利用ルールと教育で備える部分が大きいため、「生成AIの利用ルールの作り方」もあわせてご覧ください。

AIそのものへの攻撃には、どんなものがありますか？

総務省が2026年3月に策定した「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、大規模言語モデル（LLM）を組み込んだAIシステムを主な対象に、攻撃の可能性が比較的高い脅威として、プロンプトインジェクション攻撃とDoS攻撃（サービス拒否攻撃）を挙げています。

プロンプトインジェクション攻撃

LLMに細工をした入力を行い、不正な出力をさせる攻撃です。ガイドラインは2つに分けています。

• 直接プロンプトインジェクション：細工した指示（プロンプト）を直接入力します。たとえば「これまでの指示を無視して」と書いて、AIに設定された指示を無効にしようとします。
• 間接プロンプトインジェクション：細工したデータをAIに参照させます。たとえば、Webページや電子メールに隠した指示を書いておき、AIがそれを読んだときに意図しない出力をさせます。

不正な出力の例として、本来は出すべきでない社内データの内容を出させる、AIに設定された内部の指示（システムプロンプト）を出させる、連携するシステムを不正に操作する命令を作らせて実行させる、といったものが挙げられています。

AIに社内の資料やメール、Webページを読ませる使い方が増えるほど、間接プロンプトインジェクションへの備えが大切になります。

DoS攻撃（サービス拒否攻撃）

膨大な処理を必要とする入力を行い、AIシステムの応答を遅らせたり止めたりする攻撃です。外部の利用料が従量制の場合は、費用の増加という形でも影響が出ます。

そのほかの脅威

ガイドラインは、学習するデータに細工をする「データポイズニング攻撃」、細工をしたモデルを組み込ませる攻撃、繰り返しの問い合わせでモデルを複製する「モデル抽出攻撃」も挙げています。RAGで参照するデータに細工をする攻撃も想定し得るとしています。

AIを悪用した攻撃で、何が変わりましたか？

IPAの解説書は、AIによる翻訳の能力の向上で、フィッシングの文面を相手の国の言葉で違和感なく書けるようになり、多言語での攻撃が容易になったことを挙げています。また、生成AIを攻撃の補助として使うことで、さまざまな攻撃が展開しやすくなっているとしています。

同じ10大脅威の組織向けには「ビジネスメール詐欺」も入っています。取引先や上司になりすまして送金を求めるような手口は、AIで文面が自然になるほど見分けにくくなります。音声や映像を偽る技術（ディープフェイク）が使われる場合も、同じ考え方で備えられます。

そのため、文面の不自然さで見分けることに頼らず、手続きで防ぐ考え方が大切になります。IPAの解説書も、決裁や承認の手続きに複数の人の確認を規程として組み込むことを、高度化するなりすましへの備えとして挙げています。

AIを使う会社は、何をすればよいですか？

IPAの解説書が挙げる対策をもとに、AIを業務で使う会社の備えを整理します。

① 会社として使えるツールを用意し、未承認のツールの利用を減らします。 個人のアカウントでの業務利用を制限し、利用ルールを整えます。

② 入力した情報の扱いを確かめます。 入力した情報を学習の対象から外す設定や、サービスの利用規約・約款を確かめます（「法人向けの生成AIツールの選び方」参照）。

③ アカウントを守ります。 多要素認証を使い、利用状況を把握できるようにします。

④ 人の確認の手続きを固めます。 送金、契約、権限の変更など、お金や信用に関わる操作は、複数の人が確かめ、別の連絡手段で本人に確かめる手順にします。

⑤ 社員に伝えます。 社内の秘密情報を安易に入力しないこと、AIの出力が正しいとは限らないこと、AIに頼りすぎないことを研修で伝えます（「社内研修と推進役の育て方」参照）。

⑥ 基本の対策を点検します。 攻撃の効率化を踏まえ、ソフトウェアの更新、バックアップ、権限の管理など、従来の対策も見直します。中小企業向けには、IPAの「中小企業の情報セキュリティ対策ガイドライン」が手順をまとめています。

⑦ 被害を受けたときの流れを決めます。 報告・連絡・相談の窓口と、対応の手順を決めておきます。

AIの仕組みを作る会社は、何をすればよいですか？

社内向けのチャットボットやRAGを自社で作る場合は、総務省のガイドラインが示すAIの提供者向けの対策が参考になります。

• システムプロンプトを工夫する：制約や注意事項を設定します。APIキーなどの秘密の情報はシステムプロンプトに直接書かず、別に管理します。
• 入力と出力を確かめる：不正な指示が含まれていないかを入力の段階で確かめ、出すべきでない情報が出力に含まれていないかも確かめます。こうした確認の仕組みは「ガードレール」と呼ばれます。
• 外部から読み込むデータを確かめる：Webサイトや外部のデータベースを参照する場合は、不正な指示が含まれていないかを確かめ、利用者の入力と外部のデータを区別して扱わせます。
• 権限を必要最小限にする：AIを動かしてほかのシステムを操作する仕組みの権限を必要最小限にし、攻撃を受けた場合の被害を抑えます。RAG用のデータへの参照権限は、利用者や役割に応じて設定します。
• 基本の対策を行う：記録（ログ）の保存、アクセスの回数の上限（レートリミット）、開発環境の権限の管理、組み込む部品やモデルの信頼性の確認などです。

ガイドラインは、対策例を実装しても脅威の要因を完全に取り除くことは難しく、複数の対策を重ねてリスクを下げることを前提にしています。あわせて、攻撃者の視点で対策の有効性を確かめる「レッドチーミング」も重要としています。進め方は、AIセーフティ・インスティテュート（AISI）の「AIセーフティに関するレッドチーミング手法ガイド」にまとめられており、2025年3月公表の第1.10版ではRAGを実装したシステムでの実施例が解説されています。

なお、このガイドラインは、自律的に動くAIエージェントについては、技術が発展の途上にあることから対象外としています。AIエージェントに操作を任せる場合は、任せる操作の範囲を絞り、重要な操作には人の承認を入れる設計から始めると安心です。

チェックリスト

• 会社として使えるAIツールを用意し、個人のアカウントでの業務利用の扱いを決めている
• 承認したツールで、入力した情報の扱い（学習への利用など）と規約を確かめている
• AIツールのアカウントに多要素認証を使っている
• 送金・契約・権限の変更などは、複数の人が確かめる手続きにしている
• AIを使ったなりすましやフィッシングの手口を、社員に伝えている
• AIに読ませる情報（メール・Webページ・社内資料）の範囲を決めている
• AIに任せる操作の範囲を絞り、重要な操作には人の承認を入れている
• 自社で作るAIでは、システムプロンプトに秘密の情報を書かず、入出力を確かめる仕組みを入れている
• 自社で作るAIの権限を必要最小限にし、記録を残している
• 被害を受けたときの報告と対応の流れを決めている