AIの不具合・事故への備えと対応：平時の準備と、起きたときの流れ

自社の「ガバナンスと法令」の準備度は？10問・約3分で確かめる（無料・登録不要）

AIを業務で使う場面が増えると、誤った回答が顧客に届く、見せてはいけない情報が出力される、AIエージェントが意図しない操作をする、といった出来事への備えが要ります。この記事では、平時の準備と起きたときの流れを整理します。

AIの事故とは、どんな出来事ですか？

OECD（経済協力開発機構）は2024年5月の報告書で、AIインシデントを、AIシステムの開発・利用・誤作動が、直接または間接に害につながった出来事と整理しています。まだ害は生じていないものの、害につながるおそれがある出来事は「AIハザード」と呼んで区別しています。

業務では、次のような出来事が考えられます。

AIは同じ入力でも出力が変わることがあり、提供元がモデルを更新すると同じ使い方でも結果が変わることがあります。後から同じ状況を再現しにくいため、記録を残しておかないと、原因を確かめられないことがAIの事故の特徴です。

なぜ、平時に備えておくのですか？

総務省と経済産業省の「AI事業者ガイドライン（第1.2版）」は、AIの安全性を損なう事態が生じた場合の対処方法を検討し、速やかに実施できるよう整えておくことを示しています。検証できるようにするため、入出力などの記録を残すことも挙げ、保存の方法や期間は原因の究明や再発の防止を踏まえて決めるとしています。

人工知能戦略本部の「適正性確保に関する指針」も、障害が生じた場合に損害を最小限にとどめ、早く復旧するための事業継続計画を事前に作ることを求めています。取り組みの水準は、会社の規模や立場、AIのリスクに応じたものでよいとされています。

平時に何を決めておけばよいですか？

次の7つを決めておくと、迷う場面を減らせます。

① AIの利用の一覧と責任者：どの業務で、どのAIを、誰が使っているかを一覧にし、利用ごとに責任者を決めます。

② 事故とする基準と段階：どこから事故として扱うかを、影響の大きさで段階に分けます（下の表）。

③ 報告の窓口と連絡網：誰に、どの手段で知らせるかを、夜間や休日の連絡先も含めて決めます。

④ 記録の範囲と保存期間：入出力、使ったモデルや設定、操作の履歴を、どこまで、いつまで残すかを決めます。個人情報を含む記録は、閲覧できる人を絞ります。

⑤ 止める手段と判断する人：AIの機能を止める、人の確認を経てから出す形に切り替える、といった手段と、どの段階で誰が止めるかを決めます。AIエージェントでは停止の仕組み（キルスイッチ）を用意します。業務が止まることを心配して、停止が遅れることがあるためです。

⑥ 委託先・提供元との取り決め：不具合のときの連絡、情報の提供、協力の範囲を契約や利用規約で確かめます。

⑦ 訓練と見直し：想定した事例で、連絡から利用の停止までを試し、利用の広がりや規程の改定に合わせて見直します。

段階の分け方は、たとえば次のような目安が考えられます。会社の業務に合わせて言葉を直してください。

事故が起きたときは、どう進めますか？

流れは、セキュリティ事故の対応と大きくは変わりません。IPA（情報処理推進機構）の「中小企業の情報セキュリティ対策ガイドライン」第4.0版の付録「中小企業のためのセキュリティインシデント対応の手引き」も土台として使えます。

① 気づいて知らせる：決めておいた窓口に知らせ、画面の写しや入力した内容をそのまま残します。

② 止めて広げない：責任者は、AIの機能を止めるか、人の確認に切り替えるかを判断します。AIエージェントでは、権限を外し、実行中の作業を止めます。

③ 影響を確かめる：誤った情報が誰に届いたか、どの情報が出力されたか、いつから起きていたかを記録から確かめます。

④ 報告し、連絡する：社内の報告に加え、個人データが関わる場合は次の節の報告を確かめます。影響を受けた相手には、わかっている事実と今後の対応を伝えます。

⑤ 原因を調べる：入力、設定、参照していたデータ、モデルの更新、利用の手順のどこに原因があったかを調べます。既製のサービスでは、提供元に状況を伝え、公表される不具合の情報や対応状況を確かめます。

⑥ 再発を防ぎ、振り返る：使い方のルール、確認の手順、AIに読ませる情報の範囲、権限を見直し、対応の記録を事故の一覧に加えます。

個人データが関わる場合の報告は、どうなりますか？

AIの出力に個人情報が含まれた、記録が外部から見られる状態になった、といった場合は、個人情報保護法の漏えい等に当たるかを確かめます。個人情報保護委員会によると、次のいずれかに当たる場合は委員会への報告が義務です。

• 要配慮個人情報が含まれる個人データの漏えい等（またはそのおそれ）
• 不正に利用されると財産的な被害が生じるおそれがある個人データの漏えい等
• 不正の目的をもって行われたおそれがある行為による漏えい等
• 本人の数が1,000人を超える漏えい等（またはそのおそれ）

報告には、事態を知った後、速やかに（目安は概ね3〜5日以内）行う速報と、事態を知った日から30日以内（不正の目的のおそれがある場合は60日以内）の確報があります。個人データが関わりそうな時点で、担当者に早めに知らせる流れにしておくと安心です（「個人データの漏えい等の対応と報告」参照）。法令の当てはめに迷う場合は、専門家にご確認ください。

AIに特有の準備で、見落としやすい点は何ですか？

見落としやすいのは、提供元の更新です。モデルや機能の更新で、使い方を変えていなくても結果が変わることがあるため、提供元の更新情報を確かめる担当を決めておきます（「AIを使い続けるための運用と見直し」参照）。AIを止めた間の代わりの手順は、「事業継続計画（BCP）とAI」もあわせてご覧ください。

チェックリスト

• AIを使っている業務、使っているAI、責任者を一覧にしている
• どこから事故として扱うか、影響の大きさによる段階を決めている
• 気づいた人が知らせる窓口と、夜間・休日の連絡先を決めている
• 入出力・設定・操作の履歴を、どこまで、いつまで残すかを決めている
• AIを止める・人の確認に切り替える手段と、判断する人を決めている
• 提供元・委託先との、不具合が起きたときの連絡と協力の範囲を確かめている
• 個人データが関わる場合の報告の期限と、担当者への知らせ方を決めている
• 想定した事例で連絡から停止までを試し、事故とヒヤリとした事例を記録している