ジェイルブレイク

ジェイルブレイクは、生成AIに対して、役割を演じさせる、仮の話として頼む、言い回しを変えて繰り返すといった指示の工夫により、開発者が組み込んだ安全のための制限を外させ、本来は答えない内容を出させようとする行為です。社外向けのチャットボットで起きると、不適切な発言や、想定外の情報の表示につながり、会社の信用に影響するおそれがあります。対策は、システムプロンプトだけに頼らず、入力と出力を確かめるガードレールやコンテンツフィルターを組み合わせること、公開の前にレッドチーミングで試すこと、公開後も応答の記録を見て見直すことです。