Datawhale X 李宏毅苹果书 AI夏令营第五期 深度学习（入门）task03-机器学习框架and实践攻略

Datawhale X 李宏毅苹果书 AI夏令营第五期 深度学习（入门）task03-机器学习框架and实践攻略

学习教程指路：Datawhile

2.1 模型灵活性与损失函数

在深度学习中，模型的灵活性通常与其参数数量和网络结构的复杂性有关。一个灵活的模型能够捕捉数据中的复杂关系，但同时也可能导致过拟合。模型的灵活性可以通过增加神经元数量、层数或特征维度来提高。然而，增加模型灵活性并不总是解决高损失问题的万能钥匙。有时候，即使模型的灵活性足够，梯度下降等优化算法也可能无法找到全局最小值，导致训练损失高。

2.2 优化问题

优化算法是深度学习中的核心组成部分，它们负责在模型参数空间中寻找损失函数的最小值。常见的优化算法包括梯度下降、随机梯度下降、Adam等。然而，这些算法可能会遇到局部最小值、鞍点或梯度消失等问题，导致模型无法收敛到理想的参数值。为了解决这些问题，研究者们提出了各种策略，如学习率衰减、动量方法、权重初始化技巧等。

2.3 过拟合与欠拟合

过拟合是指模型在训练数据上表现良好，但在未见过的数据上表现差的现象。这通常是因为模型过于复杂，学习了训练数据中的噪声。为了解决过拟合，可以采取以下措施：

• 增加更多的训练数据。
• 使用数据增强技术，如旋转、缩放、裁剪图像等。
• 引入正则化方法，如L1、L2正则化。
<