勾配ブースティング
こうばいぶーすてぃんぐ / Gradient Boosting
定義
勾配ブースティングとは、前の予測の誤りを補うように決定木を順に追加し、精度を高めていく手法のことです。
勾配ブースティングは、決定木を1本ずつ追加し、それまでの予測で残った誤りを次の木が補うように学習を重ねる手法です。表の形に整理されたデータ(構造化データ)での予測に強いとされ、売上の予測、顧客の離反の予測、審査の補助など、企業のデータ分析で広く使われています。公開されている実装も多く、手軽に試しやすい手法です。木を増やしすぎると学習データに合わせすぎることがあるため、評価用のデータで確かめながら、木の数や学習の進め方を調整します。どの要因が予測に効いたかを示す機能もありますが、個々の判断の理由を説明するには、別の工夫が必要になる場合があります。
勾配ブースティングの進み方
- 決定木を1本追加それまでの予測で残った誤りを見る
- 次の木が誤りを補う1本ずつ追加して学習を重ねる
- 評価用のデータで確かめる木を増やしすぎると学習データに合わせすぎることがあるため、木の数や学習の進め方を調整する
表の形に整理されたデータ(構造化データ)での予測に強いとされます。個々の判断の理由を説明するには、別の工夫が必要になる場合があります。
自社のAI活用の準備度は?7つの柱で、10問・約3分で確かめる(無料・登録不要)