19、统计学习中的Bagging与Boosting方法解析

统计学习中的Bagging与Boosting方法解析

在统计学习领域，Bagging和Boosting是两种重要的集成学习方法，它们在提升模型性能方面发挥着关键作用。下面将详细介绍这两种方法的原理、适用场景以及实际效果。

1. Bagging方法

Bagging（Bootstrap Aggregating）是一种通过对原始训练集进行自助采样（Bootstrap Sampling），生成多个不同的训练子集，然后在每个子集上训练一个基模型，最后将这些基模型的预测结果进行聚合的方法。

1.1 Bagging的性能比较

将基于树的普通回归或分类估计 $\hat{m}(x, T)$ 和 $\hat{c}(x, T)$ 与Bagging版本 $\hat{m} {BA}(x)$ 和 $\hat{c} {BA}(x)$ 的性能进行比较。以平均平方误差（回归问题）和误分类百分比（分类问题）作为衡量泛化能力的性能指标，在独立测试集 $P$ 上进行评估。结果表明，Bagging通常能带来性能提升，在大多数应用中，预测误差或误分类率甚至可降低20 - 50%。

1.2 Bagging何时有效

为了研究Bagging的效果，考虑一个基于一般线性回归模型的人工示例：
$Y_j = \sum_{k = 1}^{p} \beta_k X_{jk} + \varepsilon_j, j = 1, \cdots, N$
其中，输入向量 $X_j$ 的维度 $p = 30$，具有 $p$ 维正态分布，均值为0，协方差矩阵表明各分量之间存在不可忽略的相关性。在这种情况下，我们通常希望找到更稀疏的模型，即只选择