LLMの評価

LLMの評価は、生成AIの回答が正しいか、指示に沿っているか、根拠に基づいているか、不適切な内容を含まないかなどを、基準を決めて確かめる取り組みです。公開のベンチマークのほか、自社の業務の質問と模範解答を集めた評価用のデータを作り、人の採点や自動の採点で測る方法があります。プロンプトやモデル、検索の設定を変えたときに、品質が上がったか下がったかを比べる物差しになります。導入の前だけでなく、運用中も定期的に評価を続けると、品質の低下に早く気づけます。評価の項目と合格の目安を、業務の担当者と一緒に決めておくと進めやすくなります。