春招面试准备笔记——过拟合和欠拟合

介绍

过拟合：过拟合是指模型在训练过程中过于复杂，拥有过多的参数，以至于在训练数据集上表现良好，但在未见过的测试数据上表现很差的现象。这种情况下，模型可能只是“死记硬背”了训练数据的特征和噪声，而没有真正学习到数据的普遍规律。例如，考虑一个简单的多项式拟合问题，如果使用了高阶多项式拟合数据，模型可能会过于灵活，完美地拟合了训练数据，但对于新的、未见过的数据，其预测性能却很差。

欠拟合：欠拟合是指模型在训练过程中过于简单，参数过少，以至于无法很好地拟合训练数据的真实分布。在这种情况下，模型无法捕捉到数据中的复杂关系和特征，导致在训练数据和测试数据上都表现不佳。例如，考虑一个线性回归模型，如果真实数据是非线性关系，但模型却使用了简单的线性模型进行拟合，那么该模型就会出现欠拟合现象，无法很好地预测数据。

如何解决

解决过拟合：

1、增加数据量：通过增加训练数据量，可以使模型更好地学习数据的真实分布，减少过拟合的可能性。

2、简化模型复杂度：减少模型的参数数量或层数，可以降低模型的复杂度，从而减少过拟合的风险。可以通过减少网络的宽度、深度或使用正则化方法来实现。

3、使用正则化：正则化方法可以通过在损失函数中添加正则化项来限制模型参数的大小，例如L1正则化、L2正则化等。

4、采用Dropout：Dropout是一种常用的正则化技术，通过在训练过程中随机丢弃部分神经元，可以降低模型的复杂度，减少过拟合的风险。

5、提前停止训练࿱