深度学习入门笔记手稿（八）梯度检验

梯度检验

在实施backprop时有一个测试叫做梯度检验。是用来检查梯度是否约等于使用双边误差来逼近的导数。
具体过程如下：

1.首先不要在训练中使用梯度检验，它只用于调试，为了实施梯度下降，必须使用backprop计算导数。

2.如果检验失败，要检查所有项。要确定出问题的导数

3在检验时，如果使用了正则化，则导数也一定包含正则项

4，梯度检验不能与dropout同时使用

5 可能只有在w，b接近0，backprop才是正确的，在w，b变大后就不准确了，可以先在随机初始化过程中进行检验，等反复训练网络后，再重新运行检验。