AIエージェントを業務に入れる前に確かめること：任せる範囲・権限・記録

AIエージェントは、目標に向けて手順を考え、メールや表計算、社内システムなどを操作して作業を進めるAIです。人の操作を待たずに動く部分があるぶん、これまでのチャット型の生成AIとは確かめる点が変わります。この記事では、導入の前に確かめることを順にご紹介します。

AIエージェントとは何ですか？

総務省・経済産業省の「AI事業者ガイドライン（第1.2版）」は、AIエージェントを特定の目標を達成するために、環境を感知し自律的に行動するAIシステムとしています。ここでいう「自律」は、高度に自律した状態だけでなく、ある程度の自律性を持つものも含むとされています。

チャット型の生成AIとの違いは、次のように整理できます。

• チャット型： 人が質問し、AIが答えを返す。答えをどう使うかは人が決め、操作も人が行う。
• AIエージェント： 人が目標を伝えると、AIが手順を考え、ほかのシステムやサービスを呼び出して作業を進める。途中の操作の一部をAIが行う。

ガイドラインの別添は、AIエージェントが複数のシステムやアプリケーションと連携し、状況に応じた判断を行うことで、人手に頼っていた調整や分析を自動化できる可能性に触れています。一方で、次のようなリスクも挙げています。

AIエージェントには、どのようなリスクがありますか？

AI事業者ガイドラインの別添は、AIエージェントに関わるリスクとして、主に次の点を挙げています。

• 意図しない操作： 自律的な動作の中で、人が意図しない商品の注文やファイルの削除などを行う可能性があります。
• 攻撃を受ける入口が増える： 入力の経路や外部との連携が増えるため、データの汚染や、悪意のある指示を紛れ込ませる攻撃のリスクが高まることが懸念されています。
• 情報の漏えい： 外部のシステムやクラウドサービスと連携する過程で、脆弱性を突かれて動きが不正に操作され、社内のデータが意図せず外部に送られる可能性があります。
• 原因の調べにくさ： 構成が複雑になるため、不具合の原因の調査や保守が難しくなる場合があります。

あわせて、AIエージェントの自律性が高まると、人による監視だけでは対応が難しくなる場面も想定されると記されています。「人が見ていれば大丈夫」と考えず、権限や記録の仕組みで守ることが大切です。

導入の前に、何をどの順番で確かめればよいですか？

① 任せる範囲を決める

まず、AIエージェントに任せる作業を、動詞で表せる単位まで分けて書き出します。たとえば「問い合わせへの対応」ではなく、「メールを読む」「過去の回答を探す」「返信の下書きを作る」「送信する」のように分けます。

そのうえで、作業ごとに次の3つに分けます。

• 任せる： 情報を集める、整理する、下書きを作るなど、誤っても取り消しやすい作業
• 任せるが、人が確かめてから実行する： 社外への送信、データの登録・変更など
• 任せない： 支払いや契約、人の評価に関わる判断など

最初は「任せる」を小さく始め、試行の結果を見て広げていくと、効果とリスクの両方を確かめられます。業務の選び方は「AIを使う業務の選び方」でご紹介しています。

② 与える権限を絞る

AIエージェントは、与えられた権限の範囲で操作します。そのため、権限の設計が安全の土台になります。

• 読むだけでよい作業には、書き込みの権限を与えない
• 使えるシステム、フォルダ、宛先を必要な範囲に限る
• 社員個人のアカウントを使い回さず、AIエージェント用のアカウントや権限を分ける
• 金額や件数の上限を設ける（1回に送れる件数、注文できる金額など）
• 権限を定期的に見直し、使わなくなった権限を外す

③ 人が確かめる場面を決める

ガイドラインは、複数の項目で、AIに単独で判断させるだけでなく、適切なタイミングで人の判断を介在させることを示しています。あわせて、人がAIの出力を過度に信頼・依存してしまう「自動化バイアス」に左右されないような対策を求めています。

確かめる場面は、すべての操作ではなく、影響の大きい場面に絞ります。

• 取り消しにくい操作（送信、削除、支払い、公開）の直前
• お金、個人情報、取引先との約束に関わる操作
• いつもと違う動き（件数が多い、宛先が初めてなど）があったとき

確認の画面では、AIエージェントが何をしようとしているかを、短くわかる形で示すようにすると、確認が形だけになるのを防げます。

④ 記録の残し方を決める

ガイドラインは、AIの判断を後から検証できるよう、合理的な範囲で、利用時の入出力や判断の根拠などの記録（ログ）を残すことを示しています。記録の方法、頻度、保存の期間は、事故の原因の調査や再発の防止に役立つかを考えて決めるとされています。

AIエージェントでは、次の点を記録しておくと、問題が起きたときに経緯をたどれます。

• 誰が、どの目標を指示したか
• AIエージェントが、どのシステムに、どの操作をしたか
• 人が確かめた場面と、その結果
• エラーや、止めた操作

⑤ 止め方と戻し方を決める

動きがおかしいと気づいたときに、誰が、どうやって止めるかを決めておきます。

• AIエージェントを止める手順と、止める権限を持つ人
• 誤った操作を取り消す手順（送信の取り消し、データの復元など）
• 社内の連絡先と、取引先やお客様に影響が出た場合の連絡の流れ
• 再開する前に、原因と対策を確かめる人

情報の扱いと契約は、何を確かめますか？

入力する情報

AIエージェントは、メールや社内の文書など、多くの情報に触れます。個人情報保護委員会は、生成AIサービスの利用について注意喚起を公表しています。社内の利用ルールで、AIエージェントが読める情報と、外部のサービスへ送ってよい情報の範囲を確かめておきます。ルールの作り方は「生成AIの利用ルールの作り方」、入力してはいけない情報の整理は、ひな形の「入力してはいけない情報の一覧」が参考になります。

外部から読み込む情報

Webページや受け取ったメールの中に、AIへの指示が紛れ込んでいることがあります（プロンプトインジェクション）。外部から読み込んだ内容に含まれる指示には従わない設定にする、外部の内容を読んだ後の操作は人が確かめる、といった対策を組み合わせます。

提供事業者との契約

AIエージェントの機能を外部のサービスとして使う場合は、データの扱い、誤った操作が起きたときの対応、記録の提供などを、契約や利用規約で確かめます。経済産業省は「AIの利用・開発に関する契約チェックリスト」や、AI利活用時の民事責任の考え方を整理した「AI利活用における民事責任の解釈適用に関する手引き」を公表しています。責任の分担は個別の状況で判断が分かれるため、必要に応じて専門家にご相談ください。

試行はどう進めればよいですか？

AIエージェントの試行は、通常のPoC（概念実証）の進め方に、次の点を加えると進めやすくなります。

① 試す環境を分ける： 本番のデータやシステムに直接つなぐ前に、試験用の環境や、影響の小さいデータで動きを確かめます。
② 「人が確かめる」から始める： 最初はすべての操作を人が確かめ、問題がないことを確かめた作業から、確認を減らしていきます。
③ 記録を毎週見る： 意図しない操作や、確認で止めた操作の件数を数え、権限や手順を直します。
④ 成功と撤退の条件に、安全の項目を入れる： 効果の数字に加えて、「意図しない操作が一定期間ない」などの条件を入れます。

PoCの組み立て方は「PoCの進め方」でご紹介しています。

よくある失敗はどんなものですか？

• 広い権限を与えて始める： 便利さを優先して権限を広げると、意図しない操作の影響が大きくなります。
• 確認を形だけにする： 内容を見ずに承認を押すようになると、人が確かめる意味がなくなります。確認の場面を絞ります。
• 記録を残していない： 問題が起きたとき、何が起きたかをたどれません。
• 止め方を決めていない： 動きがおかしいと気づいても、誰も止められない状態になります。
• 担当者だけで決める： 情報システム、法務、現場の責任者が一緒に確かめると、見落としが減ります。

チェックリスト

• 任せる作業を、動詞で表せる単位まで分けた
• 作業ごとに「任せる・確かめてから実行・任せない」を決めた
• 権限を必要な範囲に絞り、AIエージェント用のアカウントを分けた
• 金額や件数の上限を設けた
• 取り消しにくい操作の前に、人が確かめる場面を置いた
• 指示・操作・確認・エラーを記録し、保存の期間を決めた
• 止める手順と、止める権限を持つ人を決めた
• AIエージェントが読める情報と、外部に送ってよい情報の範囲を確かめた
• 外部から読み込む情報に紛れた指示への対策を決めた
• 提供事業者との契約で、データの扱いと問題が起きたときの対応を確かめた