23、机器学习中的过拟合、欠拟合与数据预处理

机器学习中的过拟合、欠拟合与数据预处理

1. 过拟合与欠拟合

在机器学习中，学习系统可能会出现无法有效泛化的情况，主要表现为过拟合和欠拟合。
- 欠拟合 ：当学习系统表现不佳是因为曲线与数据拟合度差时，就出现了欠拟合。这意味着模型过于简单，无法捕捉数据中的复杂模式。
- 过拟合 ：当学习系统在训练数据上表现出色，但在新数据上表现不佳时，就是过拟合。这表明系统学习了过多训练数据的特殊细节和怪癖，而这些细节在新数据中可能并不存在。

为了防止过拟合，可以通过监控训练和验证性能，并使用正则化方法。同时，还可以从偏差和方差的角度来理解过拟合，并且可以使用贝叶斯规则将直线拟合到有噪声的数据中。

在贝叶斯框架下，看待数据拟合的方式与频率主义有所不同。频率主义和贝叶斯方法都能让我们将直线（或曲线）拟合到数据上，但它们态度和机制不同。贝叶斯方法将所有可能的拟合线都视为准确的，只是具有不同的概率，计算这些线的偏差和方差在贝叶斯意义上并无意义。

2. 数据预处理的重要性

机器学习算法的性能很大程度上取决于训练数据的质量。在现实世界中，数据可能来自有噪声的传感器、有漏洞的计算机程序，或者是纸质记录的不完整、不准确转录。因此，在使用数据之前，必须对其进行检查和修复。

数据预处理，也称为数据清理，是为了让学习系统能够最有效地使用数据。这包括确保数据没有空白、错误条目或其他错误，以及调整数据使其适合机器学习，例如缩放数字或合并类别。因为数据的结构和数值范围会对算法提取信息的能力产生重大影响。

3. 基本数据清理