観測と制御（AIエージェント）
かんそくとせいぎょ ／ Observation and Control
定義
観測と制御（AIエージェント）とは、AIエージェントの動きを継続して監視し、問題があれば停止や修正ができるようにしておく仕組みのことです。
AISIの「AIセーフティに関する評価観点ガイド」は、2026年7月の第1.20版で、AIエージェント特有の評価観点として「観測と制御」（自律的な挙動、外部環境との相互作用）を加えました。観測は、AIエージェントのシステム全体を継続的に監視し、権限外の業務フローの実行などの問題を検知することを指します。制御は、問題のある動作が検知されたときに、AIエージェントを停止・修正できる仕組みを持つことを指します。運用中の自律的・連鎖的な動きが想定から外れる可能性があり、こうした逸脱は設計段階の予防的な対策だけでは十分に把握・抑制できない場合があるとされています。導入時は、操作の記録と止める手順をあらかじめ決めておくことが考えられます。
観測と制御の流れ
- 観測AIエージェントのシステム全体を継続的に監視する
- 検知権限外の業務フローの実行などの問題を見つける
- 制御問題のある動作を停止・修正できる仕組みを持つ
AISI「AIセーフティに関する評価観点ガイド」第1.20版による整理です（自律的な挙動、外部環境との相互作用）。運用中の逸脱は、設計段階の予防的な対策だけでは十分に把握・抑制できない場合があるとされています。
確かめた出典：https://aisi.go.jp/output/output_framework/guide_to_evaluation_perspective_on_ai_safety/