RLHF（人間のフィードバックによる強化学習）
あーるえるえいちえふ ／ Reinforcement Learning from Human Feedback
定義
RLHF（人間のフィードバックによる強化学習）とは、人が出力を比べて付けた評価をもとに、モデルを好ましい応答へ近づける学習の手法のことです。
RLHFは、大規模言語モデルを、利用者の意図に沿った役に立つ応答をするように調整する手法です。OpenAIのInstructGPTの論文では、人が書いた手本でモデルを調整し、次に人が複数の出力に付けた順位から評価のモデルを作り、その評価が高くなるよう強化学習で調整する流れが示されました。論文では、この手法で調整した小さなモデルが、元の大きなモデルより好まれたと報告されています。いまの対話型の生成AIの多くで、似た考え方の調整が行われています。ただし、評価する人の判断の偏りが反映される場合があるため、出力の偏りを利用者の側でも確かめることが大切です。
InstructGPTの論文で示された流れ
1. 手本で調整人が書いた手本でモデルを調整
2. 評価のモデル人が複数の出力に付けた順位から作る
3. 強化学習評価が高くなるよう調整
評価する人の判断の偏りが反映される場合があるため、出力の偏りを利用者の側でも確かめることが大切です。
自社のAI活用の準備度は？7つの柱で、10問・約3分で確かめる（無料・登録不要）