7、机器学习中的模型选择与优化

机器学习中的模型选择与优化

1. 模型的方差与偏差

在机器学习中，模型 $\hat{f}$ 是基于训练数据集进行拟合的。不同的训练数据集会导致不同的 $\hat{f}$。方差指的是当使用不同的训练数据集时，拟合模型 $\hat{f}$ 的变化程度。高方差意味着训练数据中的微小差异可能会导致 $\hat{f}$ 形式的巨大变化。偏差则是指在预测响应的真实值时的估计误差。一般来说，较简单的模型具有较高的偏差但较低的方差。

测试均方误差（MSE）的变化源于方差和偏差的相对变化率。随着模型灵活性的逐渐增加，起初偏差的减小速度快于方差的增加速度。在某一点上，偏差的减小速度开始放缓，而方差的增加速度开始飙升。模型灵活性与可解释性、泛化能力和预测准确性之间的关系总结如下：
| 模型特性 | 与灵活性关系 |
| ---- | ---- |
| 可解释性 | 灵活性增加，可解释性降低 |
| 泛化能力 | 灵活性过度增加，泛化能力下降 |
| 预测准确性 | 存在最佳灵活性点，使预测准确性最高 |

2. 子集选择与收缩方法概述

除了普通最小二乘法估计，还可以使用子集选择和收缩方法来拟合线性模型。这些方法可以为特定数据集提供更好的预测准确性和可解释性。特别是对于高维数据（$p \geq n$），最小二乘法估计常常会遇到高方差和过拟合的问题，而这些方法可以帮助克服这些问题。

2.1 学习目标

• 使用介绍的三种方法为给定数据集设计子集选择方法。
• 讨论和比较不同子集选择方法的优缺点。
• 识别各种评估标准之间的差异。