机器学习算法的调试 —— 梯度检验（Gradient Checking）

最新推荐文章于 2025-10-22 12:47:32 发布

原创

最新推荐文章于 2025-10-22 12:47:32 发布 · 279 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了在机器学习中，由于反向传播算法的复杂性，容易出现难以察觉的错误。通过梯度检验，我们可以验证求导代码的正确性，确保权重和偏置项得到正确更新。数学原理部分解释了检验方法，编程实现部分提供了实践指导。

反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug 时。举例来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练（for(i=1; i<=m; ++i) 被漏写为 for(i=1; i<m; ++i)），再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，仅从计算结果上来看，我们很难发现代码中有什么东西遗漏了。本节中，我们将介绍一种对求导结果进行数值检验的方法，该方法可以验证求导代码是否正确。另外，使用本节所述求导检验方法，可以帮助你提升写正确代码的信心。