ハルシネーション

ハルシネーションは、生成AIが存在しない事実、誤った数字、架空の出典などを、もっともらしい文章で出力してしまう現象です。言語モデルは言葉のつながりの確からしさをもとに文章を作るため、正しさが保証されているわけではありません。業務で使う際は、重要な事実や数字を原典で確かめる、社内文書を検索して回答させるRAGを使う、根拠となる資料を示させる、といった工夫で影響を小さくできます。特に契約、法令、医療、財務など誤りの影響が大きい分野では、人が最終確認をする運用を前提にすると安心です。