交差検証
こうさけんしょう / Cross-Validation
定義
交差検証とは、データを分け、学習と評価を入れ替えながら繰り返して、モデルの性能を確かめる手法のことです。
交差検証は、限られたデータでモデルの性能をより確かに見積もるための手法です。代表的なk分割交差検証では、データをk個に分け、そのうち1つを評価用、残りを学習用にして学習と評価を行い、評価用を入れ替えながらk回繰り返して結果を平均します。一度だけ分けて評価するよりも、たまたまの分け方による偏りを抑えられ、過学習に気づく手がかりにもなります。ただし、時系列のデータでは、未来のデータで学習して過去を評価することにならないよう、時間の順を保った分け方を使います。計算の回数が増えるため、データが大きい場合は時間と費用も考えて方法を選びます。
k分割交差検証の手順
- 分けるデータをk個に分ける
- 学習と評価1つを評価用、残りを学習用にする
- 入れ替える評価用を入れ替えながらk回繰り返す
- 平均するk回の結果を平均する
時系列のデータでは、時間の順を保った分け方を使います。
自社のAI活用の準備度は?7つの柱で、10問・約3分で確かめる(無料・登録不要)