4、深度学习模型训练与TensorFlow实践

深度学习模型训练与TensorFlow实践

1. 深度学习模型训练中的过拟合问题及解决方法

在深度学习模型训练过程中，模型在训练数据上表现良好，但在测试数据上表现不佳，这往往是过拟合问题导致的。我们需要对模型在测试数据上的表现进行评估，若不满意则需重新思考模型架构或检查数据是否包含所需信息。
- 训练集和验证集误差分析
- 若训练集误差不再改善，可能需要更好地捕捉数据中的重要特征。
- 若验证集误差不再改善，可能需要采取措施防止过拟合。
- 防止过拟合的技术
- 正则化 ：通过在目标函数中添加额外项来惩罚大权重，目标函数变为 Error + λf(θ)，其中 λ 是正则化强度，是一个超参数。λ = 0 表示不采取防止过拟合的措施；λ 过大，模型会优先保持 θ 尽可能小，而不是寻找在训练集上表现良好的参数值。因此，选择合适的 λ 需要一些试验和错误。
- L2 正则化 ：在神经网络的误差函数中添加所有权重的平方大小，即对于每个权重 w，在误差函数中添加 1/2λw²。L2 正则化会严重惩罚峰值权重向量，倾向于分散的权重向量，鼓励网络对所有输入都使用一点，而不是只大量使用某些输入。在梯度下降更新过程中，每个权重会线性衰减到零，因此 L2 正则化也常被称为权重衰减。我们可以使用 ConvNetJS 可视化 L2 正则化的效果，使用一个有 2 个输入、大小为 2 的 softmax 输出和 20 个神经元的隐藏层的神经网络，使用小批量梯度下降（批量大小为 10）和正则化强度为 0.01、0.1 和 1 进行训练。