23、机器学习中的过拟合、欠拟合与数据预处理

机器学习中的过拟合、欠拟合与数据预处理

1. 过拟合与欠拟合

在机器学习中，过拟合和欠拟合是影响学习系统泛化能力的重要问题。当学习系统因曲线与数据拟合不佳而表现不佳时，就出现了欠拟合。而当学习系统在训练数据上表现出色，但在新数据上表现欠佳时，则是过拟合，这意味着系统过度学习了训练数据的特性和细节。

为了防止过拟合，可以通过监控训练和验证性能，并使用正则化方法。同时，还可以考虑偏差和方差与过拟合的关系，例如可以使用贝叶斯规则将直线拟合到有噪声的数据中。

1.1 频率主义与贝叶斯方法

频率主义和贝叶斯方法都可以用于将直线（或曲线）拟合到数据上，但它们采取了截然不同的态度和机制。频率主义可能会将一组直线视为对某个真实答案的近似，通过各种平均形式来寻找这个答案。而贝叶斯方法则认为所有这些直线都是准确和正确的，只是具有不同的概率。计算从这组直线中绘制的直线的偏差和方差是可能的，但在贝叶斯意义上没有意义。

2. 数据预处理的重要性

机器学习算法的性能很大程度上取决于所使用的数据。在现实世界中，数据可能来自有噪声的传感器、有漏洞的计算机程序，甚至是纸质记录的不完整或不准确转录。因此，在使用数据之前，必须对其进行检查和修复。

数据预处理，也称为数据清理，是一系列用于处理数据的方法，目的是让学习系统能够最有效地使用数据。此外，还需要确保数据本身适合机器学习，这可能涉及调整数据，例如缩放数字或合并类别。因为数据的结构和数值范围会对算法提取信息的能力产生重大影响。

3. 基本数据清理

3.1 检查错误

• 文本数据 </