22、机器学习中的过拟合、欠拟合及贝叶斯规则应用

机器学习中的过拟合、欠拟合及贝叶斯规则应用

1. 正则化技术

在记忆一个人时，我们可能会过度关注某一个特征，比如胡子，而忽略其他有用信息。在机器学习中，也会出现类似情况，某个特征或参数可能会主导其他所有特征，影响模型的准确性。

正则化技术可以解决这个问题，它能确保没有一个参数或一小部分参数会主导其他参数。具体来说，我们要让所有特征的值大致处于相同范围，避免某个特征过度影响结果。

正则化参数通常用小写希腊字母 λ（lambda）表示，较大的 λ 值意味着更强的正则化。通过调整 λ 值，我们可以控制分类器边界曲线的复杂程度。高 λ 值会得到平滑的边界，低 λ 值则能让边界更精确地拟合数据，但也可能导致过拟合。

对于多层处理的学习架构，还有一些专门的正则化技术，如 dropout、batchnorm、层归一化和权重正则化，它们可以帮助控制这类架构的过拟合问题。

2. 偏差与方差

偏差和方差是与欠拟合和过拟合密切相关的统计术语。偏差衡量系统持续学习错误信息的倾向，方差衡量系统学习无关细节的倾向。

我们可以通过二维曲线来直观理解偏差和方差。假设一位大气研究人员测量了山顶某点几个月的风速数据，这些数据是理想曲线和噪声的总和。我们的目标是找到理想曲线，为此可以尝试用平滑曲线拟合这些噪声数据。

为了研究偏差和方差，我们创建了 50 个包含 30 个随机点的数据集。然后分别用简单曲线和复杂曲线拟合这些数据集：
- 高偏差、低方差 ：使用简单平滑曲线拟合数据，得到的曲线形状相似，说明具有高偏差，即对特定结果有偏好；且曲线受数据影响小，差异不大，表现为