エージェントの評価

エージェントの評価は、最終の結果が正しいかだけでなく、途中でどの道具をどの順番で使ったか、余計な操作や危険な操作をしなかったか、どれだけの時間と費用がかかったかも含めて確かめることを指します。一回の回答を採点する通常のLLMの評価と比べ、手順が長く、同じ指示でも毎回動きが変わることがあるため、同じ課題を複数回試して成功の割合を見る方法がよく使われます。導入の前には、自社の実際の業務に近い課題と、正解や合格の基準を用意して試すことが大切です。モデルや指示文を変えたときにも同じ課題で試し直すと、性能の変化に気づきやすくなります。