4、深度学习：从过拟合预防到TensorFlow实践

深度学习：从过拟合预防到TensorFlow实践

1. 模型评估与过拟合预防

在训练模型时，我们需要确保模型在测试数据上的表现符合预期。若不满意模型在测试数据上的表现，我们需要重新思考模型架构，或者考虑所收集的数据是否包含了做出预期预测所需的信息。
- 若训练集误差不再改善，可能需要更好地捕捉数据中的重要特征。
- 若验证集误差不再改善，可能需要采取措施防止过拟合。

若对模型在训练数据上的表现满意，就可以在测试数据上评估其性能。若测试结果不理想，可能是测试集中包含了训练集中未充分体现的示例类型，此时需要更多数据；若测试结果满意，那么模型训练就完成了。

2. 深度神经网络中防止过拟合的技术

为防止模型在训练过程中出现过拟合，有多种技术可供使用：
- 正则化 ：通过在目标函数中添加惩罚大权重的额外项来修改目标函数，使其变为 Error + λf(θ) ，其中 f(θ) 随 θ 的分量增大而增大， λ 是正则化强度，是一个超参数。 λ = 0 表示不采取任何防止过拟合的措施；若 λ 过大，模型会优先保持 θ 尽可能小，而不是寻找在训练集上表现良好的参数值。因此，选择合适的 λ 需要一些尝试和调整。
- L2 正则化 ：在机器学习中最常见，通过在误差函数中添加神经网络所有权重的平方来实现。对于神经网络中的每个权重