17、工程师的统计学习介绍：神经网络、集成学习与Bootstrap方法

工程师的统计学习介绍：神经网络、集成学习与Bootstrap方法

1. 大型神经网络的数据处理

对于大型神经网络而言，交叉验证、自助法（Bootstrap）以及类似的重采样技术在计算上往往成本过高。不过幸运的是，通常在可用数据量非常大时才会考虑使用大型神经网络。在这种情况下，我们可以仅使用部分数据 ((X_1, Y_1), \cdots, (X_N, Y_N)) 作为训练集，从中估计 (\hat{\vartheta} N)。其余的数据，通常为10%或20%，即 ((X {N + 1}, Y_{N + 1}), \cdots, (X_{N + M}, Y_{N + M})) 则用作验证集，用于比较不同网络的性能。此时，通过验证集上的平均误差来近似公式（54）：
[V(H) = \frac{1}{M} \sum_{j = N + 1}^{N + M} (Y_j - f_H(X_j; \hat{\vartheta}_N))^2]
然后针对 (H) 对其进行最小化。

2. 集成学习：众人的智慧

当不同的统计学习方法（特别是使用不同超参数的相似方法）应用于同一训练集时，通常会得到不同的预测或分类函数。以合适的方式将它们组合起来，往往能产生新的、更好的性能。像使用回归预测器集合的集成方法，例如装袋法（Bagging）、随机森林或提升法（Boosting）等。

我们从装袋法开始介绍，在此之前，需要先对自助法（Bootstrap）进行初步讨论，装袋法中的“b”就代表了自助法，它是统计学中一种流行的重采样方法。

3. 自助法对预测误差的近似

我们再次考虑一般的回归模型：
[Y_j