AIを使い続けるための運用と見直し：利用状況・品質・リスクを定期的に確かめる

AIは、導入した時点で取り組みが終わるわけではありません。使う人や業務が増え、サービスの中身も更新されていくため、導入のときに決めたルールや前提が少しずつ合わなくなります。この記事では、全社でAIを使っている会社（Lv.4〜5）に向けて、運用の段階で何を、誰が、どのくらいの頻度で確かめるとよいかを整理します。

なぜ導入後も確かめ続ける必要があるのですか？

総務省・経済産業省の「AI事業者ガイドライン（第1.2版）」は、AIガバナンスを、「環境・リスク分析」「ゴール設定」「システムデザイン」「運用」「評価」といったサイクルを継続的に回していくもの（アジャイル・ガバナンス）として説明しています。一度決めたルールを守り続けるだけでなく、運用と評価の結果をもとに、ルールや仕組みを直していく考え方です。

ガイドラインの本編は、共通の指針の中で、必要に応じて定期的かつ客観的なモニタリングを行うことにも触れています。また、AIを使う会社（AI利用者）の役割として、AI提供者が意図する適正な使い方をし、環境の変化などの情報をAI提供者と共有して、正常な稼働を続けることを挙げています。

総務省・経済産業省の「AI事業者ガイドライン活用の手引き（案）」も、外部の環境の変化に対応するため、このサイクルを回し続けることが重要だとしています。

海外では、米国の国立標準技術研究所（NIST）が2023年1月26日に公表した「AIリスクマネジメントフレームワーク（AI RMF 1.0）」が、Govern（統治）・Map（状況の把握）・Measure（測る）・Manage（対処する）の4つの機能でAIのリスク管理を整理しています。任意で使う枠組みですが、運用中も定期的にリスクを確かめ、導入後の監視の計画を実行することが項目として挙げられています。

AIセーフティ・インスティテュート（AISI）の「AIセーフティに関する評価観点ガイド」（第1.20版）は、主にAIシステムの開発者や提供者に向けた資料です。その概要では、評価は一度だけでなく繰り返し行うこと、開発・提供・利用の段階に応じて評価の範囲が異なることが示されています。

何を確かめればよいですか？

運用の段階で確かめたい項目を、5つに分けて整理します。会社の状況に合わせて、まず2〜3項目から始めてもかまいません。

① 利用状況

手引き（案）は、定期的なアンケートや聞き取りを使って、どの部署が、どの目的で、どのAIを、どのデータで使っているかを継続的に把握することを挙げています。運用の段階では、次の点を見ます。

• 利用者の数や、使われている部署の広がり
• 申請や承認を経ていないサービスが使われていないか（シャドーAI）
• 利用ルールで決めた目的の範囲で使われているか

② 出力の品質

AIの出力には誤りが含まれることがあります（ハルシネーション）。全社で使い始めた後も、代表的な業務を選んで次の点を確かめます。

• 誤りや手直しの件数、差し戻しの回数
• 人が確かめる工程が、決めたとおりに残っているか
• 利用者からの「使いにくい」「答えがずれる」といった声

効果の指標の取り方は「AIの効果の測り方」でご紹介しています。

③ 事故とヒヤリハット

手引き（案）は、インシデントが起きたときにすぐ報告できる窓口を決め、社内外への説明や報告の流れまで事前に考え、予行演習をしておくことを挙げています。運用の段階では、報告された件数と内容、対応にかかった時間、同じ種類の報告がくり返されていないかを見ます。大きな事故に至らなかった「ヒヤリとした事例」も集めると、ルールを直す材料になります。

④ 費用

利用者が増えると、利用料も増えていきます。利用料や設定・保守の費用が、計画や効果に見合っているかを確かめます。使われていないアカウントや契約がないかもあわせて見ます。

⑤ サービスやモデルの変更

AIのサービスは、モデルの更新や機能の追加、利用規約の改定が続きます。同じ指示でも、更新の前後で出力の傾向が変わることがあります。提供者のお知らせや変更の履歴、規約の改定を確かめる担当を決め、影響がありそうな変更のときは、代表的な業務で出力を確かめ直します。

ガイドラインの別添の「AI利用者向け」には、利用状況や異常な操作を把握するためにログを定期的に確かめることと、異常な操作に気づいたときにすぐ報告できる体制を整えることが挙げられています。第1.2版の更新内容の資料でも、AI利用者向けの追記として、AIエージェントやフィジカルAIは自律性を持って行動するため、定期的な操作履歴の確認や報告が重要である旨が挙げられています。AIエージェントを業務に組み込んでいる場合は、操作の記録（ログ）を見る担当と頻度も決めておくとよいでしょう。

確かめる担当と頻度はどう決めればよいですか？

手順

① 項目ごとに担当を決める： 利用状況と費用は推進役や情報システムの担当、品質は各部署の推進役、事故は既存の情報セキュリティの窓口、サービスの変更は契約や導入を担う担当、といったように、ふだんの仕事に近い人に割り当てます。体制の組み立て方は「AI推進の体制のつくり方」でご紹介しています。

② 頻度を決める： 次の組み立てが一つの目安です。

• 月に1回： 利用者数・費用・事故の報告の件数を確かめる
• 四半期に1回： 品質の確かめ、利用ルール・禁止事項・研修の内容の見直し
• 年に1回： 方針と計画、使うサービスの選び直し、リスクの洗い出しのやり直し
• 随時： サービスやモデルの大きな変更、対象業務の追加、事故があったとき

③ 判断の場を決める： 結果を報告する会議と、続ける・直す・止めるを決める人を決めます。新しい会議を作らず、既存の経営会議や部長会の議題に加える形でもかまいません。

④ 記録を残す： 何を確かめ、何を決めたかを記録します。ガイドラインの本編は、アカウンタビリティの考え方として、必要なときに参照できる形で文書を残すことにも触れています。記録は、後で内部点検を行うときの材料にもなります。

判断の目安

確かめた結果から、次のように判断する考え方があります。

• 続ける： 品質と事故の件数が安定し、効果が費用に見合っている
• 直す： 誤りや手直しが増えている、ルールの解釈の相談が同じ論点でくり返されている、サービスの変更で出力の傾向が変わった
• 広げる： 一部の部署で効果が安定し、ほかの部署にも同じ業務がある
• 止める・切り替える： 効果が費用に見合わない状態が続く、規約の改定で自社のルールと合わなくなった

止めることも、運用の大切な判断の一つです。結果を記録しておくと、判断の理由を社内に説明しやすくなります。

よくあるつまずきはどんなものですか？

• 数字だけを集めて判断しない： 集計が目的になり、続ける・直すの判断につながらない状態です。報告の場で決めることを先に決めておきます。
• 確かめる項目が多すぎる： 記録の手間が大きいと続きません。利用ツールの管理画面や既存の記録を使い、手で集める項目を絞ります。
• サービスの変更に気づかない： 担当が決まっていないと、規約の改定や機能の変更を見落とします。
• 事故の報告が集まらない： 報告すると責められると感じると、報告が減ります。報告の窓口は「安心して伝えられる場」として運ぶと、ヒヤリハットも集まりやすくなります。

社内のセキュリティの基本の点検には、情報処理推進機構（IPA）の「中小企業の情報セキュリティ対策ガイドライン」（第4.0版）の付録にある情報セキュリティの自社診断や、セキュリティインシデント対応の手引きも参考になります。

チェックリスト

• どの部署が、どの目的で、どのAIを、どのデータで使っているかを把握する方法を決めている
• 申請や承認を経ていないAIのサービスの利用を確かめる方法がある
• 代表的な業務を選び、出力の品質を定期的に確かめている
• 事故とヒヤリハットの報告の窓口と、件数・内容を確かめる担当を決めている
• 利用料や使われていないアカウントを、定期的に確かめている
• サービスやモデルの変更、利用規約の改定を確かめる担当を決めている
• AIエージェントを使う場合は、操作の記録を見る担当と頻度を決めている
• 項目ごとの担当と頻度（月・四半期・年・随時）を決めている
• 結果を報告し、続ける・直す・止めるを決める場を決めている
• 確かめた内容と決めたことを記録に残している