3、机器学习基础概念与通用原则解析

机器学习基础概念与通用原则解析

1. 非参数模型与参数模型

在机器学习中，存在参数模型和非参数模型的区别。非参数模型不能由固定数量的参数完全确定，其形式依赖于可用数据。例如决策树，使用时无需假定模型的函数形式，树的大小通常也不固定，若有更多训练数据，可能构建更大的决策树。另一个著名的非参数模型是直方图，用它估计数据分布时，不限制分布形状，随着样本增多，直方图会发生显著变化。

相比之下，参数模型更容易处理，因为对于任何参数模型，我们总是可以专注于估计一组固定的参数。参数估计通常比在不知道模型形式的情况下估计任意模型要简单得多。

2. 过拟合与欠拟合

所有机器学习方法都依赖训练数据，训练数据包含我们希望用模型学习的重要规律信息（信号成分），同时也不可避免地包含一些无关甚至干扰信息（噪声成分）。噪声的主要来源之一是有限随机样本中的采样变化，此外，测量或记录误差也可能产生噪声。一般来说，我们可以将收集到的训练数据概念性地表示为：数据 = 信号 + 噪声。

基于此，我们可以理解机器学习中的两个重要概念：欠拟合和过拟合。
- 欠拟合 ：当使用的模型过于简单，无法捕捉信号成分中的所有规律时，即使在训练数据上，学习到的模型也会产生非常差的结果，更不用说在未见过的数据上了。例如，用线性函数拟合具有明显“上下波动模式”的数据点时，就会出现欠拟合情况。
- 过拟合 ：如果使用的模型过于复杂，学习过程可能会使强大的模型在试图捕捉信号成分中的规律时，完美地拟合随机噪声成分。这不仅会妨碍模型捕捉信号成分中的所有规律，而且由于在另一组数据样本中会遇到完全不同的噪声成分，完