过拟合与欠拟合

---

date: 2025-01-13
tags:

• 深度学习

---

训练误差(Training error)：在训练数据上的误差
泛化误差（Generaliztion error）：模型在新数据上的误差

1、数据的复杂性和模型的复杂性要对等。数据相对简单就应该选择比较简单的模型，这样就可以得到一个正常的结果。
2、模型的复杂度可以理解为能够拟合各种各样函数的能力，例如参数的数量，或者每个参数所取值的数量（有值限制的模型会简单点，正则化）。
3、数据的复杂度可以理解为样本的数量，每个样本中有多少个元素（也就是维度多高，是1000x1000的图片还是20x20的图片），特殊的时间、空间结构（股票数据是有时序结构的，图片存在空间结构），样本的多样性（图片有10种动物还是100种）
模型复杂度会产生的一些影响：

即使在最好的情况下依然存在小的过拟合。
数据复杂度：

横轴表示数据的复杂度，纵轴表示泛化误差，随着数据的复杂度增加，复杂的模型的泛化误差会越来越低，但在数据比较简单的情况下，简单的模型会有更低的泛化误差。
选择具有适当复杂度的模型，最小化泛化误差，首先选择一个模型的类，然后在其中选择合适的超参数，要不要加正则项限制可学习参数的一个范围。
总结：

• 我们担心的是泛化误差而不是训练误差。
• 模型复杂度
• 数据复杂度
• 模型选择