LLMOps
えるえるえむおぷす ／ Large Language Model Operations
定義
LLMOpsとは、大規模言語モデルを使ったサービスを、安定して運用し改善し続けるための考え方や仕組みのことです。
LLMOpsは、MLOpsの考え方を大規模言語モデル（LLM）を使うサービスに広げたものです。LLMでは、モデルそのものを作り直すより、プロンプト、参照する社内文書、外部のモデルの版の管理が中心になります。回答の質の評価、誤った回答や不適切な出力の監視、利用量と費用の把握、利用者の声の反映も対象です。外部のモデルが更新されると、同じプロンプトでも回答が変わる場合があります。企業では、評価に使う質問の一覧を用意し、変更のたびに確かめる手順を決めておくと、品質を保ちやすくなります。
MLOpsとLLMOpsで管理の中心が変わります
- MLOps機械学習のモデルを作り直し、監視する
- LLMOpsプロンプト・参照する社内文書・外部のモデルの版の管理が中心
- LLMOpsで見るもの回答の質、誤った回答や不適切な出力、利用量と費用、利用者の声
- 注意点外部のモデルが更新されると、同じプロンプトでも回答が変わる場合がある
評価に使う質問の一覧を用意し、変更のたびに確かめる手順を決めておくと、品質を保ちやすくなります。
自社のAI活用の準備度は？7つの柱で、10問・約3分で確かめる（無料・登録不要）