ML之模型拟合

1、欠拟合

1.1 现象

欠拟合是机器学习和统计建模中的一种常见问题，表现为模型无法充分捕捉数据中的潜在规律和模式。无论是训练数据还是测试数据，模型的预测误差都居高不下。

在实际应用中，欠拟合的模型往往显得过于简单和粗糙，无法对数据进行有效的拟合和描述。

1.2 原因

1. 模型过于简单是导致欠拟合的主要原因：
   • 例如，使用直线去拟合具有明显曲线趋势的数据，或者使用低阶多项式去拟合高阶的复杂函数关系。这种情况下，模型的表达能力不足以捕捉数据中的复杂模式
2. 特征空间的维度过低
3. 模型训练不足
4. …

1.3 解决方法

为了解决欠拟合问题，可以采取以下几种方法：

1.3.1 增加特征复杂度

通过增加特征的复杂度来提升模型的拟合能力。
例如，在回归问题中：

1. 使用多项式回归，将特征从线性组合扩展为高阶多项式组合，使模型能够更好地拟合非线性数据
2. 通过特征工程的方法，增加交叉特征、多项式特征等，丰富特征空间，提高模型对数据规律的捕捉能力

1.3.2 增加模型复杂度

• 选择更复杂的模型架构，如从简单的线性模型升级到非线性模型，如决策树、支持向量机等；
• 在深度学习中，可以增加神经网络的层数和神经元数量，以增强模型的