AIの内部点検・監査の進め方：社内の使い方をルールどおりか確かめる

利用ルールを作り、研修を行っても、実際の使い方がルールどおりかどうかは、確かめてみないと分かりません。全社でAIを使っている会社（Lv.4〜5）では、部署ごとに使い方が広がり、ルールを作ったときには想定していなかった使い方も出てきます。この記事では、社内のAIの使い方を、自社のルールに照らして確かめる「内部点検」の進め方を整理します。

なぜ内部点検が必要なのですか？

総務省・経済産業省の「AI事業者ガイドライン（第1.2版）」は、AIガバナンスを、「環境・リスク分析」「ゴール設定」「システムデザイン」「運用」「評価」のサイクルを継続的に回していくものとして説明しています。別添の行動目標の一覧では、「評価」の段階に「AIマネジメントシステムの機能の検証」と「社外ステークホルダーの意見の検討」が、「運用」の段階に、AIマネジメントシステムの運用状況や個々のAIシステムの運用状況を説明できる状態にしておくことが挙げられています。

総務省・経済産業省の「AI事業者ガイドライン活用の手引き（案）」も、評価の段階を「チェックする・改善点を見つける」ことと説明し、例として第三者による評価や関係者の意見の収集を挙げています。

内部点検は、この「評価」を社内で行う方法の一つです。ルールを作った側や運用している側が気づきにくいずれを見つけ、ルールや仕組みを直すきっかけにします。

日々の運用の確かめと、何が違いますか？

日々の運用では、利用状況・品質・事故・費用・サービスの変更を、担当がくり返し確かめます（「AIを使い続けるための運用と見直し」）。内部点検は、それとは別の人が、決めたルールと仕組みが実際に守られ、機能しているかを、記録などの証拠をもとに確かめるものです。

• 運用の確かめ： 運用する担当が、数字や報告をくり返し見て、使い方を直す
• 内部点検： 運用から離れた人が、ルールどおりかを証拠で確かめ、仕組みの直しを求める

内部点検はどう進めればよいですか？

① 範囲を決める

一度にすべてを点検しようとせず、範囲を決めます。

• 部署で区切る： AIの利用が多い部署、個人情報や取引先の情報を多く扱う部署から
• サービスで区切る： 全社で使っている生成AIのサービス、業務システムに組み込んだAI、AIエージェントなど
• テーマで区切る： 入力してよい情報、出力の確かめ方、アカウントの管理など

前回の点検の指摘や、運用の確かめで目立った論点がある範囲を優先すると、限られた時間で効果を出しやすくなります。

② 点検項目を作る

点検項目は、一般的なチェックリストをそのまま使うのではなく、自社の利用ルールの各項目を「確かめる問い」に置き換えて作ります。例えば次のような項目です。

• 利用してよいサービスの一覧にないサービスが使われていないか
• 入力してはいけない情報（個人情報・取引先の秘密など）の決まりが守られているか
• 個人情報を扱う場合に、利用目的の範囲内かを確かめる手順があるか
• 社外に出す文書で、人が出力を確かめる工程が残っているか
• 退職者や異動者のアカウントが残っていないか
• 事故の報告の窓口が知られ、報告が記録されているか
• サービスの利用規約や設定（入力したデータの扱いなど）が、導入時に確かめた内容から変わっていないか

個人情報については、個人情報保護委員会が令和5年6月2日の注意喚起で、事業者が生成AIのサービスに個人情報を含む指示を入力する場合は、利用目的を達成するために必要な範囲内であることを十分に確かめるよう、注意点として示しています。あわせて、本人の同意なく個人データを含む指示を入力し、そのデータが応答の出力以外の目的で扱われる場合は法令に違反する可能性があるため、提供者がそのデータを機械学習に使わないことなどを十分に確かめるよう示しています。この2点は、点検項目に入れておくとよい論点です。また、個人情報保護法は、個人データの漏えいなどを防ぐための安全管理の措置を事業者に求めています（第23条）。AIのサービスでの個人データの扱いも、この観点から確かめておくとよい論点です。

③ 証拠で確かめる

聞き取りだけでなく、記録で確かめます。ガイドラインの本編は、共通の指針の中で、AIの判断に関わる検証可能性を確保するため、ログの記録と保存の方法や期間を検討することや、必要なときに参照できる形で文書を残すことに触れています。点検で使う証拠の例は次のとおりです。

• 利用の申請・承認の記録、利用してよいサービスの一覧
• サービスの管理画面の利用者の一覧と、人事の在籍の情報
• 研修の受講の記録
• 事故・ヒヤリハットの報告と対応の記録
• 契約・利用規約・設定の控え
• 運用の確かめで残した記録（会議の議事録など）

すべての記録を見る必要はありません。件数が多いものは、一部を抜き出して確かめる方法があります。

④ 結果をまとめ、直すまで追う

結果は「問題なし」「改善が望ましい」「すぐに直す必要がある」のように分けて、担当部署と話し合ってから報告します。指摘ごとに、直す担当と期限を決め、次の点検までに直ったことを確かめます。

ルールが分かりにくい、現場の業務に合っていない、といった原因で守られていない場合は、現場を直すのではなく、ルールや研修の側を直すことも大切です。点検の結果は、経営陣の責任者や会議体に報告し、ルールと仕組みの見直しにつなげます。

誰が、どのくらいの頻度で点検しますか？

点検する人

点検する人は、AIの推進や運用を担う人とは別の人にすると、見落としに気づきやすくなります。

• 内部監査の部署がある会社： 内部監査の計画にAIの使い方を加え、推進役から仕組みの説明を受けて点検する
• 内部監査の部署がない会社： 管理部門（法務・総務・情報システムなど）や別の部署の担当が、推進役と組んで点検する。部署どうしで互いに点検し合う方法もあります
• 外部の力を借りる： 手引き（案）が評価の例に挙げる第三者による評価のように、専門家に一部を依頼する方法もあります

頻度

年に1回程度を目安に全体を点検し、事故があったとき、ルールを大きく改定したとき、新しいサービスやAIエージェントを導入したときに、関係する範囲を追加で点検する組み立てが考えられます。

規格や認証とはどう関係しますか？

ISO/IEC 42001は、2023年12月18日に発行された、AIマネジメントシステムを作り、運用し、維持し、改善を続けるための要求事項を定めた国際規格です。AIを使った製品やサービスの開発・提供・利用に関わる、あらゆる規模の組織を対象としており、ISOの紹介ページでは、計画・実行・確認・改善（PDCA）の考え方を用いると説明されています。

認証を取るかどうかは会社の判断ですが、認証を取らない場合でも、自社のルールを決め、守られているかを確かめ、直していくという考え方は参考になります。すでに情報セキュリティの仕組み（ISMS）の内部監査を行っている会社は、その計画や手順にAIの点検項目を加える形で始めることも考えられます。

判断の目安

• 点検を始める時期の目安： 利用ルールを決めてから半年から1年程度が経ち、複数の部署で使われるようになったころ
• 範囲を広げる目安： 前回の指摘が直り、点検の手順が回るようになったら、部署やサービスを広げる
• 外部の力を借りる目安： 法令に関わる論点が多い、社内に点検できる人がいない、取引先から説明を求められる、といった場合

チェックリスト

• 今回の点検の範囲（部署・サービス・テーマ）を決めている
• 自社の利用ルールの各項目を、確かめる問いに置き換えた点検項目がある
• 個人情報の入力について、利用目的の範囲と提供者のデータの扱いを確かめる項目がある
• 利用の申請・承認、アカウント、研修、事故の報告などの記録を証拠として確かめている
• 点検する人は、AIの推進や運用を担う人とは別の人にしている
• 結果を分けて報告し、指摘ごとに直す担当と期限を決めている
• 直ったことを次の点検までに確かめている
• 点検の結果を、ルールや研修の見直しにつなげている
• 点検の頻度と、追加で点検するきっかけを決めている