--- title: "自社のAIアプリのセキュリティの確かめ方｜AI-Ready.jp" url: https://www.ai-ready.jp/guide/llm-app-security/ description: "自社で作ったAIアプリのセキュリティは、入力・外部データ・出力・権限・基本の対策の5つの観点で確かめ、リリースの前と運用中にレッドチーミングで有効性を確かめ直すと続けられます。総務省のガイドラインとAISIの手法ガイドにそって整理しました。" updated: 2026-11-12 publisher: "フロレンティナ株式会社" --- 定着させる[柱：基盤とセキュリティ](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) # 自社のAIアプリのセキュリティの確かめ方 執筆：[石田誠](https://www.ai-ready.jp/about/authors/#ishida)更新 2026-11-12最終確認 2026-11-12出典 4件[図解 2点](https://www.ai-ready.jp/zukai/) この記事の結論 自社で作ったAIアプリのセキュリティは、入力・外部データ・出力・権限・基本の対策の5つの観点で確かめ、リリースの前と運用中に、攻撃者の視点で有効性を確かめ直す（レッドチーミング）流れで続けるのが現実的です。 自社の「基盤とセキュリティ」の準備度は？[10問・約3分で確かめる（無料・登録不要）](https://www.ai-ready.jp/diagnosis/quick/) 社内向けのチャットボットや、社内の資料を検索して答えるRAG（検索拡張生成）のアプリを自社で作る会社が増えています。この記事では、総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」と、AIセーフティ・インスティテュート（AISI）の「AIセーフティに関するレッドチーミング手法ガイド」にそって、自社のAIアプリの確かめ方を整理します。 この記事でわかること - 自社のAIアプリで想定しておきたい主な脅威 - 確かめる5つの観点と、それぞれの対策 - レッドチーミングの進め方と、運用の中での見直し ## 自社のAIアプリには、どんな脅威がありますか？ 総務省のガイドラインは2026年3月に策定され、大規模言語モデル（LLM）と、LLMを組み込んだAIシステムを主な対象にしています。読み手は、AIを開発する事業者と、AIを使ったサービスを提供する事業者です。社内向けのアプリを自社で作る会社も、提供する側の対策が参考になります。 ガイドラインが主な脅威として挙げるのは次のとおりです。 - **プロンプトインジェクション攻撃**：細工した入力で、不正な出力をさせる攻撃です。利用者が直接細工する「直接型」と、AIが参照するWebページやメールに細工をしておく「間接型」があります。被害の例として、RAGのデータの漏えい、AIに設定した内部の指示（システムプロンプト）の露出、連携するシステムでの不正な命令の実行が挙げられています。 - **DoS攻撃（サービス拒否攻撃）**：大量の計算を求める入力で、応答を遅らせたり止めたりする攻撃です。外部のAPIの利用上限に達することも含みます。 - **そのほかの脅威**：学習データに細工をする攻撃（データポイズニング）、細工したモデルを組み込ませる攻撃、問い合わせを繰り返してモデルを複製する攻撃（モデル抽出）です。 なお、ガイドラインは、自律的に動くAIエージェントについては、脅威や対策がまだ安定していないとして対象外にしています。AIエージェントの権限と確認は「[AIエージェントを安全に使うための権限と確認](https://www.ai-ready.jp/guide/ai-agent-security/)」で扱います。 海外では、OWASP（Webアプリのセキュリティに取り組む国際的なコミュニティ）が、LLMを使うアプリの主なリスクを「Top 10」としてまとめています。2025年版の10項目は、プロンプトインジェクション、機密情報の開示、サプライチェーン、データとモデルのポイズニング、不適切な出力の処理、過剰な権限（Excessive Agency）、システムプロンプトの漏えい、ベクトルと埋め込みの弱点、誤情報、際限のない消費（Unbounded Consumption）です。版ごとに項目が見直されています。確認の観点を広げるときの参考になります。 ## 何を、どの観点で確かめればよいですか？ 総務省のガイドラインが提供者向けに挙げる対策を、確かめる5つの観点に整理します。 | 観点 | 確かめること | |---|---| | ① 入力 | 不正な指示を検知したときに、無害化するか処理を断る仕組み（ガードレール）があるか | | ② 外部データ | 参照するWebや社内の資料に不正な指示が含まれていないかを確かめ、利用者の入力と外部のデータを区別して扱わせているか | | ③ 出力 | 機密情報が出力に含まれていないかを確かめているか | | ④ 権限 | AIを動かしてほかの仕組みを操作する部分の権限を必要最小限にし、RAGのデータへの参照権限を利用者や役割ごとに設定しているか | | ⑤ 基本の対策 | 監査の記録（ログ）の保存、問い合わせの回数の上限（レートリミット）、開発環境の権限の管理、組み込む部品やモデルの信頼性の確認 | システムプロンプトには、制約や注意事項を書きます。**APIキーなどの秘密の情報はシステムプロンプトに直接書かず、別に管理します。** システムプロンプトは、攻撃によって外に出てしまう場合があるためです。 ④の権限は、事故の被害の大きさを左右します。RAGのアプリで、利用者が本来見られない資料まで検索の対象になっていると、AIの回答を通じてその内容が伝わってしまうことがあります。元の資料の閲覧の権限と、AIが参照する範囲がそろっているかを確かめます。 AIアプリを確かめる5つの観点 利用者の入力① 不正な指示の検知（ガードレール） AIアプリ（LLM） 出力③ 機密情報が含まれていないか あわせて確かめること - ② 外部データ：不正な指示がないか、入力と区別しているか - ④ 権限：操作の権限は最小限、RAGの参照は利用者・役割ごと - ⑤ 基本：ログ、レートリミット、開発環境、部品とモデルの信頼性 APIキーなどの秘密の情報は**システムプロンプトに直接書かず**、別に管理します。 読みながら、自社の現在地を確かめませんか クイック診断は10問・約3分・登録不要です。7つの柱ごとの目安と、「基盤とセキュリティ」を含めて次に取り組むことがわかります。 [無料で診断する](https://www.ai-ready.jp/diagnosis/quick/)[結果の解説（30分・無料）](https://www.ai-ready.jp/consult/review/) ## レッドチーミングは、どう進めますか？ 総務省のガイドラインは、新しい脅威が続けて出てくることから、レッドチーミングで脅威を見つけ、対策の有効性を確かめることを重要としています。AISIの手法ガイドは、レッドチーミングを、攻撃者がどのようにAIシステムを攻撃するかの観点で、対応の体制と対策の有効性を確かめる評価の手法と説明しています。 2025年3月31日に公表された第1.10版は、3つの工程と15の手順で進め方を示しています。 ① **実施の計画と準備**：実施を決めてレッドチームを作り、予算と人を確保します。計画を立て、実施の環境を用意し、問題が見つかったときの連絡の流れ（エスカレーション）を確かめます。 ② **攻撃の計画と実施**：起こりうるリスクの筋書き（リスクシナリオ）と攻撃の筋書き（攻撃シナリオ）を作り、攻撃を行います。実施中の記録を取り、終わったら一時的なアカウントの削除や設定の復帰を行います。 ③ **結果のとりまとめと改善**：結果を分析して報告書を作り、関係者で確かめます。改善の計画を立てて実施し、改善の後も確かめます。 レッドチーミングの3つの工程 **① 実施の計画と準備**：レッドチームを作り、計画・環境・エスカレーションの流れを用意 **② 攻撃の計画と実施**：リスクシナリオと攻撃シナリオを作って攻撃し、記録を取り、後片付けをする **③ 結果のとりまとめと改善**：分析・報告書・関係者の確認、改善の計画と実施、改善後の確認 AISIの手法ガイド（第1.10版）では、初回はリリースや運用開始の前に行うことを基本とし、運用を始めた後も必要に応じて行うことが望ましいとしています。 実施の時期について、手法ガイドは、初回は対象のシステムのリリースや運用の開始の前に行うことを基本とし、運用を始めた後も必要に応じて行うことが望ましいとしています。規模の大きなシステムでは、部品や層ごとに分けて行う方法も示されています。 体制は、開発・提供のチームと連携する形でレッドチームを置き、責任者を決めます。社内で十分な体制が取れない場合は、外部の事業者に攻撃の計画と実施を頼む方法もあります。第1.10版では、成果物の例（シナリオと攻撃結果の記録、報告書）も別添として示されており、進め方の参考になります。 ## 運用の中で、何を続ければよいですか？ 総務省のガイドラインは、対策を講じても脅威の要因を完全に取り除くことは難しく、複数の対策を組み合わせてリスクを下げる考え方を示しています。そのため、作った後の運用が大切になります。 - **記録を見る**：不正な指示が検知された記録や、利用量の急な増え方を定期的に確かめます。 - **モデルや部品を変えたら確かめ直す**：使うモデルや組み込む部品を変えると、対策の効き方が変わることがあります。ガイドラインも、技術の進展や基盤モデルの変更に合わせて対策を見直すよう求めています。 - **事故のときの流れを決める**：機密情報が出力された、想定外の操作が行われた、といった場合の止め方と連絡先を決めておきます（「[AIの不具合・事故への備えと対応](https://www.ai-ready.jp/guide/ai-incident-management/)」参照）。 ## チェックリスト ## 関連するひな形・ガイド・用語 ひな形 - [AIのリスク評価表](https://www.ai-ready.jp/templates/ai-risk-assessment/) ガイド - [AIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え](https://www.ai-ready.jp/guide/ai-security-basics/) - [AIエージェントを安全に使うための権限と確認](https://www.ai-ready.jp/guide/ai-agent-security/) - [社内の資料をAIで探せるようにする（RAGの基本）](https://www.ai-ready.jp/guide/rag-basics/) - [AIの運用（MLOps・LLMOps）の基本：作った後に品質を保ち続ける仕組み](https://www.ai-ready.jp/guide/mlops-llmops-basics/) - [AIの不具合・事故への備えと対応：平時の準備と、起きたときの流れ](https://www.ai-ready.jp/guide/ai-incident-management/) - [AIを使い続けるための運用と見直し：利用状況・品質・リスクを定期的に確かめる](https://www.ai-ready.jp/guide/ai-operation-monitoring/) 用語 - [プロンプトインジェクション](https://www.ai-ready.jp/glossary/prompt-injection/) - [間接プロンプトインジェクション](https://www.ai-ready.jp/glossary/indirect-prompt-injection/) - [システムプロンプト](https://www.ai-ready.jp/glossary/system-prompt/) - [ガードレール](https://www.ai-ready.jp/glossary/guardrails/) - [レッドチーミング](https://www.ai-ready.jp/glossary/red-teaming/) ## よくあるご質問 Q社内向けのAIアプリでも、セキュリティの確認は必要ですか？ A必要です。社内向けでも、AIが参照する資料やメールに細工された指示が含まれていると、意図しない出力が起きることがあります。総務省のガイドラインは、参照する外部のデータに不正な指示が含まれていないかを確かめることや、RAG用のデータへの参照権限を利用者や役割ごとに設定することを挙げています。 Qレッドチーミングは、外部に頼まないとできませんか？ A社内で行うこともできます。AISIの手法ガイドは、レッドチームを開発・提供のチームと連携する形で置き、攻撃の計画・実施を担う人とAIシステムに詳しい人で構成するとしています。社内で十分な体制を確保できない場合は、外部の事業者（サードパーティ）に攻撃の計画・実施を頼む方法も示されています。 Q対策をすべて入れれば、攻撃は防げますか？ A総務省のガイドラインは、対策を講じても脅威の要因を完全に取り除くことは難しいため、複数の対策を組み合わせてリスクを下げる考え方を示しています。技術の進展や使うモデルの変更に合わせて、対策を見直し続けることも求められています。 ## この記事に出てくる用語 - [レッドチーミング](https://www.ai-ready.jp/glossary/red-teaming/) - [チャットボット](https://www.ai-ready.jp/glossary/chatbot/) - [RAG（検索拡張生成）](https://www.ai-ready.jp/glossary/rag/) - [AIセーフティ・インスティテュート（AISI）](https://www.ai-ready.jp/glossary/aisi/) - [大規模言語モデル（LLM）](https://www.ai-ready.jp/glossary/llm/) - [モデル](https://www.ai-ready.jp/glossary/model/) - [プロンプトインジェクション](https://www.ai-ready.jp/glossary/prompt-injection/) - [システムプロンプト](https://www.ai-ready.jp/glossary/system-prompt/) - [API](https://www.ai-ready.jp/glossary/api/) - [学習データ](https://www.ai-ready.jp/glossary/training-data/) - [データポイズニング](https://www.ai-ready.jp/glossary/data-poisoning/) - [AIエージェント](https://www.ai-ready.jp/glossary/ai-agent/) - [埋め込み（エンベディング）](https://www.ai-ready.jp/glossary/embedding/) - [ガードレール](https://www.ai-ready.jp/glossary/guardrails/) - [ログ](https://www.ai-ready.jp/glossary/log/) - [エスカレーション（人への引き継ぎ）](https://www.ai-ready.jp/glossary/human-escalation/) ## 「基盤とセキュリティ」のほかの記事 [この柱の解説 →](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) [広げる／基盤とセキュリティAIと社内システムをAPIでつなぐ基本：仕組み・手順・安全の確かめ方石田誠2026-11-12](https://www.ai-ready.jp/guide/api-integration-basics/)[広げる／基盤とセキュリティAIのセキュリティの基本：AIへの攻撃とAIを使った攻撃への備え石田誠2026-10-26](https://www.ai-ready.jp/guide/ai-security-basics/)[定着させる／基盤とセキュリティAIの運用（MLOps・LLMOps）の基本：作った後に品質を保ち続ける仕組み石田誠2026-11-12](https://www.ai-ready.jp/guide/mlops-llmops-basics/) ## 出典 1. [総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」本編（2026年3月）](https://www.soumu.go.jp/main_content/001064122.pdf) 2. [総務省「令和8年版情報通信白書」AIのセキュリティ対策の推進](https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r08/html/nd225430.html) 3. [AIセーフティ・インスティテュート（AISI）「AIセーフティに関するレッドチーミング手法ガイド（第1.10版）」概要](https://aisi.go.jp/assets/pdf/J2_ai_safety_RT_summary_v1.10_ja.pdf) 4. [OWASP Gen AI Security Project「OWASP Top 10 for LLM Applications 2025」](https://genai.owasp.org/llm-top-10/) 最終確認日：2026-11-12 ## 次の一歩 [測るAI-Ready診断（無料）いまの準備状況を、7つの柱で確かめられます。](https://www.ai-ready.jp/diagnosis/) [相談する結果の解説（30分・無料）診断の結果をもとに、オンラインでご説明します。](https://www.ai-ready.jp/consult/review/) [窓口ご相談のお申し込み経営・M&A・事業承継・上場・バリューアップはフロレンティナ、AIの導入・開発・データ・セキュリティ・研修はアメリア・テクノロジーがお受けします。](https://www.ai-ready.jp/consult/apply/) 目次 1. 自社のAIアプリには、どんな脅威がありますか？ 2. 何を、どの観点で確かめればよいですか？ 3. レッドチーミングは、どう進めますか？ 4. 運用の中で、何を続ければよいですか？ 5. チェックリスト 6. よくあるご質問 この記事が扱う柱 主に「基盤とセキュリティ」 [基盤とセキュリティの解説](https://www.ai-ready.jp/about-ai-ready/infrastructure-security/) 自社の準備度を確かめる 10問・約3分・登録不要。7つの柱ごとの目安がわかります。 [無料で診断する](https://www.ai-ready.jp/diagnosis/quick/) --- 出典：フロレンティナ株式会社「自社のAIアプリのセキュリティの確かめ方｜AI-Ready.jp」 https://www.ai-ready.jp/guide/llm-app-security/