4、深度学习中的过拟合预防与TensorFlow实践

深度学习中的过拟合预防与TensorFlow实践

1. 模型评估与过拟合应对

在训练模型时，我们需要评估模型在测试数据上的表现。若对模型在测试数据上的表现不满意，需重新思考模型架构，或者考虑所收集的数据是否包含用于进行所需预测的信息。
- 若训练集误差不再改善，可能需要更好地捕捉数据中的重要特征。
- 若验证集误差不再改善，可能需要采取措施防止过拟合。

若对模型在训练数据上的表现满意，可在测试数据上评估其性能。若测试数据上的表现不佳，说明测试集中可能包含训练集中未充分代表的示例类型，此时需要更多数据；若表现良好，则训练完成。

2. 防止深度神经网络过拟合的技术

为防止训练过程中的过拟合，有多种技术可供使用：
- 正则化 ：通过添加额外项来修改目标函数，惩罚较大的权重。正则化强度 $\lambda$ 是一个超参数，其值决定了对过拟合的防范程度。$\lambda = 0$ 表示不采取任何防止过拟合的措施；若 $\lambda$ 过大，模型会优先使权重尽可能小，而不是寻找在训练集上表现良好的参数值。
- L2 正则化 ：在误差函数中添加神经网络中所有权重的平方大小。对于神经网络中的每个权重 $w$，将 $\frac{1}{2}\lambda w^2$ 添加到误差函数中。L2 正则化会严重惩罚峰值权重向量，更倾向于分散的权重向量，鼓励网络对所有输入都使用一点，而不是大量使用某些输入。在梯度下降更新过程中，L2 正则化会使每个权重线性衰减至零，因此也常被称为权重衰减。可以使用 ConvNetJS 可视化 L2 正则化的效果，例如使用一个有 2 个输入、