69、机器学习中的Boosting与随机树算法

机器学习中的Boosting与随机树算法

在机器学习领域，分类器的选择至关重要，但“没有免费的午餐”定理表明，不存在先验的“最佳”分类器。不过，在许多视觉相关的数据集中，Boosting和随机树算法表现出色。本文将详细介绍这两种算法及其在OpenCV中的实现。

1. Boosting算法概述

决策树是非常有用的分类器，但单独使用时往往不是性能最优的。Boosting算法是一种元学习算法，它的核心思想是通过组合多个弱分类器来构建一个强分类器。弱分类器的输出与真实分类只有微弱的相关性，而强分类器则具有很强的相关性。

OpenCV中提供了四种类型的Boosting算法，它们都是AdaBoost的变体，具体如下表所示：
| Boosting方法 | OpenCV枚举值 |
| — | — |
| Discrete AdaBoost | cv::ml::Boost::DISCRETE |
| Real AdaBoost | cv::ml::Boost::REAL |
| LogitBoost | cv::ml::Boost::LOGIT |
| Gentle AdaBoost | cv::ml::Boost::GENTLE |

其中，“real”和“gentle”变体的AdaBoost通常效果最佳。Real AdaBoost利用置信度评级预测，适用于分类数据；Gentle AdaBoost对异常值数据点的权重较低，常用于回归数据；LogitBoost也能产生良好的回归拟合效果。

2. AdaBoost算法原理

AdaBoost算法用于训练$N_w$个弱分类器$h_w$