--- title: "RLHF（人間のフィードバックによる強化学習）とは｜AI-Ready.jp" url: https://www.ai-ready.jp/glossary/rlhf/ description: "RLHF（人間のフィードバックによる強化学習）とは、人が出力を比べて付けた評価をもとに、モデルを好ましい応答へ近づける学習の手法のことです。" publisher: "フロレンティナ株式会社" --- [生成AI・LLM](https://www.ai-ready.jp/glossary/#genai) # RLHF（人間のフィードバックによる強化学習） あーるえるえいちえふ／ Reinforcement Learning from Human Feedback 定義 RLHF（人間のフィードバックによる強化学習）とは、人が出力を比べて付けた評価をもとに、モデルを好ましい応答へ近づける学習の手法のことです。 RLHFは、大規模言語モデルを、利用者の意図に沿った役に立つ応答をするように調整する手法です。OpenAIのInstructGPTの論文では、人が書いた手本でモデルを調整し、次に人が複数の出力に付けた順位から評価のモデルを作り、その評価が高くなるよう強化学習で調整する流れが示されました。論文では、この手法で調整した小さなモデルが、元の大きなモデルより好まれたと報告されています。いまの対話型の生成AIの多くで、似た考え方の調整が行われています。ただし、評価する人の判断の偏りが反映される場合があるため、出力の偏りを利用者の側でも確かめることが大切です。 InstructGPTの論文で示された流れ **1. 手本で調整**：人が書いた手本でモデルを調整 **2. 評価のモデル**：人が複数の出力に付けた順位から作る **3. 強化学習**：**評価が高くなるよう調整** 評価する人の判断の偏りが反映される場合があるため、出力の偏りを利用者の側でも確かめることが大切です。 確かめた出典：[https://arxiv.org/abs/2203.02155](https://arxiv.org/abs/2203.02155) 自社のAI活用の準備度は？[7つの柱で、10問・約3分で確かめる（無料・登録不要）](https://www.ai-ready.jp/diagnosis/quick/) ## 関連する用語 - [強化学習](https://www.ai-ready.jp/glossary/reinforcement-learning/) - [指示チューニング](https://www.ai-ready.jp/glossary/instruction-tuning/) - [バイアス](https://www.ai-ready.jp/glossary/bias/) - [大規模言語モデル（LLM）](https://www.ai-ready.jp/glossary/llm/) 最終更新 2026-11-13 ## 次の一歩 [測るAI-Ready診断（無料）いまの準備状況を、7つの柱で確かめられます。](https://www.ai-ready.jp/diagnosis/) [相談する結果の解説（30分・無料）診断の結果をもとに、オンラインでご説明します。](https://www.ai-ready.jp/consult/review/) [窓口ご相談のお申し込み経営・M&A・事業承継・上場・バリューアップはフロレンティナ、AIの導入・開発・データ・セキュリティ・研修はアメリア・テクノロジーがお受けします。](https://www.ai-ready.jp/consult/apply/) --- 出典：フロレンティナ株式会社「RLHF（人間のフィードバックによる強化学習）とは｜AI-Ready.jp」 https://www.ai-ready.jp/glossary/rlhf/