ベンチマーク

ベンチマークは、知識、推論、計算、プログラミングなど、決まった問題の集まりでAIモデルを採点し、モデル同士を比べられるようにしたものです。新しいモデルが発表されると、各社がベンチマークの点数を示すことがよくあります。モデル選びの手がかりになりますが、点数が高いことが自社の業務でよく働くことを意味するとは限りません。問題がモデルの学習データに含まれてしまい、実力より高い点が出る場合があるとも指摘されています。公開の点数は候補を絞るのに使い、最後は自社の実際の業務の例で試す評価を行うと、選び間違いを減らしやすくなります。

確かめた出典：https://arxiv.org/abs/2311.09783