---
title: "LLM-as-a-Judgeとは｜AI-Ready.jp"
url: https://www.ai-ready.jp/glossary/llm-as-a-judge/
description: "LLM-as-a-Judgeとは、大規模言語モデルに、別のAIの回答の良し悪しを採点させる評価の方法のことです。"
publisher: "フロレンティナ株式会社"
---
[生成AI・LLM](https://www.ai-ready.jp/glossary/#genai)

# LLM-as-a-Judge

えるえるえむあずあじゃっじ／ LLM-as-a-Judge

定義

LLM-as-a-Judgeとは、大規模言語モデルに、別のAIの回答の良し悪しを採点させる評価の方法のことです。

LLM-as-a-Judgeは、人が一件ずつ採点する代わりに、大規模言語モデルに評価の基準を示して、回答の質を採点させる方法です。多くの回答を短い時間で評価できるため、プロンプトや設定を変えたときの比較に使われます。2023年の論文では、性能の高いモデルによる判定が、人の判定と8割を超えて一致したと報告されています。一方で、回答を示す順番で判定が変わる、長い回答を好む、自分と似た回答を好むといった偏りがあることも指摘されています。採点の基準を具体的に書き、一部を人が採点した結果と照らし合わせてから使うと、評価の信頼性を確かめやすくなります。

LLM-as-a-Judgeの利点と偏り

- **利点**：多くの回答を短い時間で評価できる。論文では人の判定と8割を超えて一致したと報告
- **指摘されている偏り**：**示す順番で判定が変わる・長い回答を好む・自分と似た回答を好む**
- **使う前に**：採点の基準を具体的に書き、一部を人が採点した結果と照らし合わせる

確かめた出典：[https://arxiv.org/abs/2306.05685](https://arxiv.org/abs/2306.05685)

自社のAI活用の準備度は？[7つの柱で、10問・約3分で確かめる（無料・登録不要）](https://www.ai-ready.jp/diagnosis/quick/)

## 関連する用語

- [LLMの評価](https://www.ai-ready.jp/glossary/llm-evaluation/)
- [ベンチマーク](https://www.ai-ready.jp/glossary/benchmark/)
- [バイアス](https://www.ai-ready.jp/glossary/bias/)
- [ヒューマン・イン・ザ・ループ](https://www.ai-ready.jp/glossary/human-in-the-loop/)

最終更新 2026-11-13

## 次の一歩

[測るAI-Ready診断（無料）いまの準備状況を、7つの柱で確かめられます。](https://www.ai-ready.jp/diagnosis/) [相談する結果の解説（30分・無料）診断の結果をもとに、オンラインでご説明します。](https://www.ai-ready.jp/consult/review/) [窓口ご相談のお申し込み経営・M&A・事業承継・上場・バリューアップはフロレンティナ、AIの導入・開発・データ・セキュリティ・研修はアメリア・テクノロジーがお受けします。](https://www.ai-ready.jp/consult/apply/)

---

出典：フロレンティナ株式会社「LLM-as-a-Judgeとは｜AI-Ready.jp」 https://www.ai-ready.jp/glossary/llm-as-a-judge/