LLM-as-a-Judge
えるえるえむあずあじゃっじ ／ LLM-as-a-Judge
定義
LLM-as-a-Judgeとは、大規模言語モデルに、別のAIの回答の良し悪しを採点させる評価の方法のことです。
LLM-as-a-Judgeは、人が一件ずつ採点する代わりに、大規模言語モデルに評価の基準を示して、回答の質を採点させる方法です。多くの回答を短い時間で評価できるため、プロンプトや設定を変えたときの比較に使われます。2023年の論文では、性能の高いモデルによる判定が、人の判定と8割を超えて一致したと報告されています。一方で、回答を示す順番で判定が変わる、長い回答を好む、自分と似た回答を好むといった偏りがあることも指摘されています。採点の基準を具体的に書き、一部を人が採点した結果と照らし合わせてから使うと、評価の信頼性を確かめやすくなります。
LLM-as-a-Judgeの利点と偏り
- 利点多くの回答を短い時間で評価できる。論文では人の判定と8割を超えて一致したと報告
- 指摘されている偏り示す順番で判定が変わる・長い回答を好む・自分と似た回答を好む
- 使う前に採点の基準を具体的に書き、一部を人が採点した結果と照らし合わせる
自社のAI活用の準備度は？7つの柱で、10問・約3分で確かめる（無料・登録不要）