--- title: "AIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え｜AI-Ready.jp" url: https://www.ai-ready.jp/guide/ai-security-basics/ description: "AIのセキュリティは、AIそのものへの攻撃（プロンプトインジェクションなど）と、AIを悪用した攻撃（巧妙なフィッシングなど）の2つに分けて考えると整理できます。総務省のガイドラインとIPAの資料にそって、脅威と備えをまとめました。" updated: 2026-10-26 publisher: "フロレンティナ株式会社" --- 広げる[柱：基盤とセキュリティ](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) # AIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え 執筆：[石田誠](https://www.ai-ready.jp/about/authors/#ishida)更新 2026-10-26制度の最終確認 2026-10-26出典 6件[図解 1点](https://www.ai-ready.jp/zukai/) この記事の結論 AIのセキュリティは、「AIそのものへの攻撃」と「AIを悪用した攻撃」の2つに分けて考え、前者はAIに読ませる情報と任せる操作の範囲を絞ること、後者は人の確認の手続きと基本の対策を固めることで備えるのが現実的です。 AIの業務利用が広がるにつれて、AIに特有の弱点を突く攻撃や、AIを使って巧妙になった攻撃が話題になっています。この記事では、総務省のガイドラインとIPA（情報処理推進機構）の資料にそって、知っておきたい脅威と、会社として取れる備えを整理します。 この記事でわかること - AIに特有の脅威（プロンプトインジェクションなど）の仕組み - AIを悪用した攻撃で変わってきたこと - AIを使う会社、AIの仕組みを作る会社がそれぞれ取れる備え ## AIのセキュリティは、何が新しいのですか？ IPAが毎年まとめる「情報セキュリティ10大脅威」の2026年版では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました。解説書では、AIへの理解が不十分なことによる情報漏えいや権利侵害、AIの出力を確かめずに使うことによる問題、AIの悪用による攻撃の容易化や手口の巧妙化などが挙げられています。 整理すると、新しい論点は次の3つに分けられます。 | 種類 | 内容 | 主な備え | |---|---|---| | AIそのものへの攻撃 | AIに細工した指示やデータを与え、意図しない出力や動作をさせる | 読ませる情報と任せる操作の範囲を絞る、入出力の確認 | | AIを悪用した攻撃 | AIで文面や手順を作り、フィッシングや詐欺を巧妙にする | 人の確認の手続き、多要素認証、教育 | | 使い方による事故 | 会社が把握していないAIの利用（シャドーAI）や、出力の確かめ不足 | 利用ルール、承認したツールの用意、教育 | 3つ目は利用ルールと教育で備える部分が大きいため、「[生成AIの利用ルールの作り方](https://www.ai-ready.jp/guide/generative-ai-usage-policy/)」もあわせてご覧ください。 ## AIそのものへの攻撃には、どんなものがありますか？ 総務省が2026年3月に策定した「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、大規模言語モデル（LLM）を組み込んだAIシステムを主な対象に、攻撃の可能性が比較的高い脅威として、プロンプトインジェクション攻撃とDoS攻撃（サービス拒否攻撃）を挙げています。 ### プロンプトインジェクション攻撃 LLMに細工をした入力を行い、不正な出力をさせる攻撃です。ガイドラインは2つに分けています。 - **直接プロンプトインジェクション**：細工した指示（プロンプト）を直接入力します。たとえば「これまでの指示を無視して」と書いて、AIに設定された指示を無効にしようとします。 - **間接プロンプトインジェクション**：細工したデータをAIに参照させます。たとえば、Webページや電子メールに隠した指示を書いておき、AIがそれを読んだときに意図しない出力をさせます。 不正な出力の例として、本来は出すべきでない社内データの内容を出させる、AIに設定された内部の指示（システムプロンプト）を出させる、連携するシステムを不正に操作する命令を作らせて実行させる、といったものが挙げられています。 **AIに社内の資料やメール、Webページを読ませる使い方が増えるほど、間接プロンプトインジェクションへの備えが大切になります。** 2つのプロンプトインジェクション攻撃 直接プロンプトインジェクション 細工した指示（プロンプト） 直接入力する AI（LLM）設定された指示を無効にしようとする 間接プロンプトインジェクション 細工したデータWebページや電子メールに隠した指示など AIが参照して読む AI（LLM）意図しない出力をさせられる AIに社内の資料やメール、Webページを読ませる使い方が増えるほど、間接プロンプトインジェクションへの備えが大切になります。 ### DoS攻撃（サービス拒否攻撃） 膨大な処理を必要とする入力を行い、AIシステムの応答を遅らせたり止めたりする攻撃です。外部の利用料が従量制の場合は、費用の増加という形でも影響が出ます。 ### そのほかの脅威 ガイドラインは、学習するデータに細工をする「データポイズニング攻撃」、細工をしたモデルを組み込ませる攻撃、繰り返しの問い合わせでモデルを複製する「モデル抽出攻撃」も挙げています。RAGで参照するデータに細工をする攻撃も想定し得るとしています。 ## AIを悪用した攻撃で、何が変わりましたか？ IPAの解説書は、AIによる翻訳の能力の向上で、フィッシングの文面を相手の国の言葉で違和感なく書けるようになり、多言語での攻撃が容易になったことを挙げています。また、生成AIを攻撃の補助として使うことで、さまざまな攻撃が展開しやすくなっているとしています。 同じ10大脅威の組織向けには「ビジネスメール詐欺」も入っています。取引先や上司になりすまして送金を求めるような手口は、AIで文面が自然になるほど見分けにくくなります。音声や映像を偽る技術（ディープフェイク）が使われる場合も、同じ考え方で備えられます。 そのため、**文面の不自然さで見分けることに頼らず、手続きで防ぐ**考え方が大切になります。IPAの解説書も、決裁や承認の手続きに複数の人の確認を規程として組み込むことを、高度化するなりすましへの備えとして挙げています。 ## AIを使う会社は、何をすればよいですか？ IPAの解説書が挙げる対策をもとに、AIを業務で使う会社の備えを整理します。 ① **会社として使えるツールを用意し、未承認のツールの利用を減らします。** 個人のアカウントでの業務利用を制限し、利用ルールを整えます。 ② **入力した情報の扱いを確かめます。** 入力した情報を学習の対象から外す設定や、サービスの利用規約・約款を確かめます（「[法人向けの生成AIツールの選び方](https://www.ai-ready.jp/guide/choosing-business-ai-tools/)」参照）。 ③ **アカウントを守ります。** 多要素認証を使い、利用状況を把握できるようにします。 ④ **人の確認の手続きを固めます。** 送金、契約、権限の変更など、お金や信用に関わる操作は、複数の人が確かめ、別の連絡手段で本人に確かめる手順にします。 ⑤ **社員に伝えます。** 社内の秘密情報を安易に入力しないこと、AIの出力が正しいとは限らないこと、AIに頼りすぎないことを研修で伝えます（「[社内研修と推進役の育て方](https://www.ai-ready.jp/guide/ai-training-program/)」参照）。 ⑥ **基本の対策を点検します。** 攻撃の効率化を踏まえ、ソフトウェアの更新、バックアップ、権限の管理など、従来の対策も見直します。中小企業向けには、IPAの「中小企業の情報セキュリティ対策ガイドライン」が手順をまとめています。 ⑦ **被害を受けたときの流れを決めます。** 報告・連絡・相談の窓口と、対応の手順を決めておきます。 ## AIの仕組みを作る会社は、何をすればよいですか？ 社内向けのチャットボットやRAGを自社で作る場合は、総務省のガイドラインが示すAIの提供者向けの対策が参考になります。 - **システムプロンプトを工夫する**：制約や注意事項を設定します。APIキーなどの秘密の情報はシステムプロンプトに直接書かず、別に管理します。 - **入力と出力を確かめる**：不正な指示が含まれていないかを入力の段階で確かめ、出すべきでない情報が出力に含まれていないかも確かめます。こうした確認の仕組みは「ガードレール」と呼ばれます。 - **外部から読み込むデータを確かめる**：Webサイトや外部のデータベースを参照する場合は、不正な指示が含まれていないかを確かめ、利用者の入力と外部のデータを区別して扱わせます。 - **権限を必要最小限にする**：AIを動かしてほかのシステムを操作する仕組みの権限を必要最小限にし、攻撃を受けた場合の被害を抑えます。RAG用のデータへの参照権限は、利用者や役割に応じて設定します。 - **基本の対策を行う**：記録（ログ）の保存、アクセスの回数の上限（レートリミット）、開発環境の権限の管理、組み込む部品やモデルの信頼性の確認などです。 ガイドラインは、**対策例を実装しても脅威の要因を完全に取り除くことは難しく、複数の対策を重ねてリスクを下げる**ことを前提にしています。あわせて、攻撃者の視点で対策の有効性を確かめる「レッドチーミング」も重要としています。進め方は、AIセーフティ・インスティテュート（AISI）の「AIセーフティに関するレッドチーミング手法ガイド」にまとめられており、2025年3月公表の第1.10版ではRAGを実装したシステムでの実施例が解説されています。 なお、このガイドラインは、自律的に動くAIエージェントについては、技術が発展の途上にあることから対象外としています。AIエージェントに操作を任せる場合は、任せる操作の範囲を絞り、重要な操作には人の承認を入れる設計から始めると安心です。 ## チェックリスト ## 関連するひな形・ガイド・用語 ひな形 - [入力してはいけない情報の一覧](https://www.ai-ready.jp/templates/prohibited-input-list/) ガイド - [社内の資料をAIで探せるようにする（RAGの基本）](https://www.ai-ready.jp/guide/rag-basics/) - [生成AIの利用ルールの作り方（ひな形つき）](https://www.ai-ready.jp/guide/generative-ai-usage-policy/) - [法人向けの生成AIツールの選び方：契約と設定で確かめること](https://www.ai-ready.jp/guide/choosing-business-ai-tools/) - [AIの社内研修と推進役の育て方：全社員・管理職・推進役の3層で考える](https://www.ai-ready.jp/guide/ai-training-program/) 用語 - [プロンプトインジェクション](https://www.ai-ready.jp/glossary/prompt-injection/) - [システムプロンプト](https://www.ai-ready.jp/glossary/system-prompt/) - [データ漏えい](https://www.ai-ready.jp/glossary/data-leakage/) - [シャドーAI](https://www.ai-ready.jp/glossary/shadow-ai/) - [フィッシング](https://www.ai-ready.jp/glossary/phishing/) - [ディープフェイク](https://www.ai-ready.jp/glossary/deepfake/) - [多要素認証](https://www.ai-ready.jp/glossary/multi-factor-authentication/) - [レッドチーミング](https://www.ai-ready.jp/glossary/red-teaming/) - [エージェントの権限設計](https://www.ai-ready.jp/glossary/agent-permission-design/) - [ログ](https://www.ai-ready.jp/glossary/log/) ## よくあるご質問 Q既製の生成AIサービスを使うだけでも、プロンプトインジェクションの対策は必要ですか？ Aサービスの側の対策に加えて、利用する会社の側でも備えが必要です。社内のメールやWebページをAIに読ませる使い方では、細工された文章を通じて意図しない動作が起きることがあります。AIに読ませる情報の範囲と、AIに任せる操作の範囲を絞ることが、利用する会社の側でできる備えになります。 Q対策をすれば、プロンプトインジェクションは防げますか？ A総務省のガイドラインは、対策例を実装しても、AIの性質上、脅威を生じさせる要因を完全に排除することは難しいとしています。そのため、複数の対策を重ねてリスクを下げ、攻撃者の視点で確かめる「レッドチーミング」で有効性を確かめていく考え方が示されています。 QAIを使った詐欺のメールは、どう見分ければよいですか？ AAIの翻訳や文章の作成が上手になり、文面の不自然さだけで見分けることは難しくなっています。見分けることよりも、送金や権限の変更は複数の人が確かめる、別の連絡手段で本人に確かめる、といった手続きで防ぐ考え方が有効です。 Q社内でAIを作る場合、最初に何を確かめればよいですか？ AAIが参照できるデータの範囲と、AIがほかのシステムに対してできる操作の範囲を確かめます。総務省のガイドラインは、AIを動かす仕組みの権限を必要最小限にすることや、RAG用のデータへの参照権限を利用者や役割に応じて設定することを対策に挙げています。 ## 関連する法令・判例・指針（参考情報） - 指針 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月27日） AIに不正な出力をさせる攻撃や、AIを組み込んだシステムを止める攻撃などへの技術的な対策をまとめたガイドラインです。 [発行元の公式ページで開く](https://www.soumu.go.jp/menu_news/s-news/01cyber01_02000001_00282.html) - 指針 AIセーフティ・インスティテュート（AISI）「AIセーフティに関するレッドチーミング手法ガイド」（第1.10版（2025年3月31日）） AIを使ったシステムに対して、攻撃者の視点から対策の有効性を確かめる「レッドチーミング」の進め方をまとめたガイドです。RAG を組み込んだシステムで行う例も説明しています。 [発行元の公式ページで開く](https://aisi.go.jp/output/output_framework/guide_to_red_teaming_methodology_on_ai_safety/) - 指針 総務省・経済産業省「AI事業者ガイドライン」（第1.2版（2026年3月31日）） AIを安全・安心に活用するため、AIの開発・提供・利用に関わる事業者が取り組む事項をまとめた指針です。事業者を「AI開発者」「AI提供者」「AI利用者」に分けて示しています。拘束力のない文書で、状況の変化に応じて更新されています。 [発行元の公式ページで開く](https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html) 法令は2026年10月26日時点の内容です。要旨は編集部が平易にまとめたもので、条文・判決・指針の全文ではありません。個別の事案への当てはめは、弁護士などの専門家にご確認ください。表記の決まりは[関連する法令・判例・指針（凡例）](https://www.ai-ready.jp/legal/)をご覧ください。 ## この記事に出てくる用語 - [プロンプトインジェクション](https://www.ai-ready.jp/glossary/prompt-injection/) - [フィッシング](https://www.ai-ready.jp/glossary/phishing/) - [多要素認証](https://www.ai-ready.jp/glossary/multi-factor-authentication/) - [シャドーAI](https://www.ai-ready.jp/glossary/shadow-ai/) - [生成AI](https://www.ai-ready.jp/glossary/generative-ai/) - [大規模言語モデル（LLM）](https://www.ai-ready.jp/glossary/llm/) - [モデル](https://www.ai-ready.jp/glossary/model/) - [プロンプト](https://www.ai-ready.jp/glossary/prompt/) - [システムプロンプト](https://www.ai-ready.jp/glossary/system-prompt/) - [RAG（検索拡張生成）](https://www.ai-ready.jp/glossary/rag/) - [ディープフェイク](https://www.ai-ready.jp/glossary/deepfake/) - [バックアップ](https://www.ai-ready.jp/glossary/backup/) - [チャットボット](https://www.ai-ready.jp/glossary/chatbot/) - [API](https://www.ai-ready.jp/glossary/api/) - [ログ](https://www.ai-ready.jp/glossary/log/) - [レッドチーミング](https://www.ai-ready.jp/glossary/red-teaming/) ## 「基盤とセキュリティ」のほかの記事 [この柱の解説 →](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) [はじめる／基盤とセキュリティ法人向けの生成AIツールの選び方：契約と設定で確かめること石田誠2026-10-26](https://www.ai-ready.jp/guide/choosing-business-ai-tools/)[広げる／データ社内の資料をAIで探せるようにする（RAGの基本）石田誠2026-10-25](https://www.ai-ready.jp/guide/rag-basics/)[基盤とセキュリティローカルLLM入門自社のPCでAIを動かす利点と始め方石田誠2026-10-25](https://www.ai-ready.jp/column/local-llm/) ## 出典 1. [総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」の公表（2026年3月27日）](https://www.soumu.go.jp/menu_news/s-news/01cyber01_02000001_00282.html) 2. [総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」本編（2026年3月）](https://www.soumu.go.jp/main_content/001064122.pdf) 3. [独立行政法人情報処理推進機構（IPA）「情報セキュリティ10大脅威 2026」](https://www.ipa.go.jp/security/10threats/10threats2026.html) 4. [IPA「情報セキュリティ10大脅威 2026」解説書［組織編］](https://www.ipa.go.jp/security/10threats/omgdg50000008fi8-att/kaisetsu_2026_soshiki.pdf) 5. [AIセーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド」](https://aisi.go.jp/output/output_framework/guide_to_red_teaming_methodology_on_ai_safety/) 6. [IPA「中小企業の情報セキュリティ対策ガイドライン」](https://www.ipa.go.jp/security/guide/sme/about.html) 最終確認日：2026-10-26 ## 次の一歩 [測るAI-Ready診断（無料）いまの準備状況を、7つの柱で確かめられます。](https://www.ai-ready.jp/diagnosis/) [相談する結果の解説（30分・無料）診断の結果をもとに、オンラインでご説明します。](https://www.ai-ready.jp/consult/review/) [窓口ご相談のお申し込み経営・M&A・事業承継・上場・バリューアップはフロレンティナ、AIの導入・開発・データ・セキュリティ・研修はアメリア・テクノロジーがお受けします。](https://www.ai-ready.jp/consult/apply/) 目次 1. AIのセキュリティは、何が新しいのですか？ 2. AIそのものへの攻撃には、どんなものがありますか？ 3. AIを悪用した攻撃で、何が変わりましたか？ 4. AIを使う会社は、何をすればよいですか？ 5. AIの仕組みを作る会社は、何をすればよいですか？ 6. チェックリスト 7. よくあるご質問 この記事が扱う柱 主に「基盤とセキュリティ」 [基盤とセキュリティの解説](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) --- 出典：フロレンティナ株式会社「AIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え｜AI-Ready.jp」 https://www.ai-ready.jp/guide/ai-security-basics/