データポイズニング

データポイズニングは、AIが学ぶデータに、誤ったデータや細工したデータを紛れ込ませ、AIの判断をゆがめたり、特定の条件で誤った動きをさせたりする攻撃です。インターネットから広く集めたデータや、利用者の入力をもとに学び直す仕組みは、混入を受けやすくなります。生成AIの検索の仕組み（RAG）で参照する社内文書に不正な内容が混ざる場合も、似た影響が出るおそれがあります。対策は、学習や参照に使うデータの出どころを記録し、誰が追加・変更できるかを絞ること、データを入れ替えた後にAIの出力が変わっていないかを確かめることです。データ品質の管理と一体で考えると進めやすくなります。