Dive-into-DL-PyTorch项目解析：模型选择、欠拟合与过拟合的深度理解

Dive-into-DL-PyTorch项目解析：模型选择、欠拟合与过拟合的深度理解

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch

引言

在机器学习实践中，我们经常会遇到这样的情况：模型在训练数据上表现优异，但在测试数据上却表现不佳。这种现象背后隐藏着机器学习中的两个核心问题：欠拟合和过拟合。本文将深入探讨这些问题，并通过PyTorch实现来展示如何识别和应对这些挑战。

训练误差与泛化误差

基本概念

• 训练误差：模型在训练数据集上的误差
• 泛化误差：模型在新数据上的期望误差

关键区别

训练误差反映的是模型对已知数据的拟合程度，而泛化误差则衡量模型对新数据的预测能力。理想情况下，我们希望两者都尽可能低，但实践中往往需要在两者之间找到平衡。

高考类比

想象训练误差是做模拟题的成绩，泛化误差是真实高考的成绩。一个学生可能：

1. 通过死记硬背模拟题答案获得高分（低训练误差），但高考遇到新题就束手无策（高泛化误差）
2. 对模拟题和高考题都表现不佳（高训练误差和高泛化误差）
3. 对模拟题和高考题都表现出色（低训练误差和低泛化误差）

模型选择方法

验证数据集

验证集是从训练数据中分离出来的部分数据，用于：

• 评估模型性能
• 调整超参数
• 选择最佳模型

K折交叉验证

当数据量有限时，K折交叉验证是更有效的方法：

1. 将数据分成K个不重叠的子集
2. 每次使用K-1个子集训练，剩余1个子集验证
3. 重复K次，取平均结果

这种方法能充分利用有限数据，提供更可靠的模型评估。

欠拟合与过拟合

定义与识别

• 欠拟合：模型在训练集上表现不佳（高训练误差）
• 过拟合：模型在训练集上表现很好，但在测试集上表现差（低训练误差但高测试误差）

影响因素

1. 模型复杂度：

   • 低复杂度模型容易欠拟合
   • 高复杂度模型容易过拟合

2. 训练数据量：

   • 数据量不足时容易过拟合
   • 数据量与模型复杂度应匹配

多项式拟合实验

实验设置

我们使用三阶多项式生成人工数据： y = 1.2x - 3.4x² + 5.6x³ + 5 + ε

其中ε是高斯噪声，标准差为0.01。

实验结果分析

1. 正常拟合（三阶多项式）：

   • 训练和测试误差都很低
   • 学到的参数接近真实值

2. 欠拟合（线性模型）：

   • 训练误差下降有限
   • 测试误差较高
   • 模型无法捕捉数据的非线性特征

3. 过拟合（样本不足）：

   • 训练误差可以很低
   • 测试误差非常高
   • 模型记住了噪声而非学到了规律

实用建议

1. 应对欠拟合：

   • 增加模型复杂度
   • 添加更多特征
   • 减少正则化

2. 应对过拟合：

   • 获取更多训练数据
   • 使用正则化技术
   • 简化模型结构
   • 使用早停策略

3. 通用策略：

   • 使用验证集监控模型表现
   • 采用交叉验证评估模型
   • 保持模型复杂度与数据量匹配

结论

理解欠拟合和过拟合是机器学习实践中的关键。通过合理选择模型复杂度、使用验证策略以及确保足够的数据量，我们可以构建出泛化能力强的模型。后续章节将介绍更多应对过拟合的具体技术，如权重衰减和Dropout等。

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch