20、机器学习中的误差分析与残差分析

机器学习中的误差分析与残差分析

在机器学习模型的开发和优化过程中，误差分析和残差分析是两个至关重要的环节。它们能够帮助我们深入了解模型的性能，发现潜在问题，并为模型的改进提供方向。

1. 学习曲线分析

1.1 过拟合模式

当训练损失不断下降，而验证损失却持续上升时，这是典型的过拟合现象，通常是由于模型方差过高导致的。在这种情况下，我们可以通过直接降低模型复杂度或增加正则化来限制模型的容量。

1.2 模型层面的学习曲线

在确保模型收敛且训练损失趋于平稳，没有明显的过拟合或欠拟合问题后，我们可以结束学习曲线分析。但如果遇到过拟合或欠拟合问题，或者有足够的时间来尝试最优的模型大小，就可以使用第二种学习曲线。具体步骤如下：
1. 选择一个代表模型复杂度变化的超参数，如梯度提升中的树深度、正则化强度、特征数量或深度神经网络的层数。
2. 为该超参数定义一个网格，例如树深度可以取 2, 3, 4, …, 16；正则化项可以取 10^-2, 10^-1, 1, 10, 10^2, 10^3。
3. 训练每个模型直到收敛，并记录最终的损失/指标值。
4. 将这些值映射到垂直轴，对应的超参数值映射到水平轴，这样的学习曲线可以帮助我们轻松找到对于给定数据最优的模型复杂度范围。

1.3 样本层面的学习曲线

我们可以通过改变训练集的样本数量来绘制样本层面的学习曲线。保持验证集不变，尝试不同数量的训练样本，如 100、1000、10000 等。同样训练模型直到收敛，并绘制训练和验证学习曲线。

通过样本层面的学习曲线，我们可以进行以下分析：
- <