在深度学习训练过程中，作者遇到了cost突然变为NaN的问题。通过检查数据、降低学习率、检查梯度并尝试使用Clip Gradient等方法，问题依然存在。通过NanGuardMode发现可能是梯度过大导致的。最终，发现一个逻辑错误是根源，即在softmax操作中未正确处理Mask导致除0问题。解决方案是先对输入进行缩放，避免能量值过大，然后结合Mask进行softmax计算，防止出现概率为0的情况，从而避免了NaN的产生。
问题：在深度学习训练中，之前的cost是正常的，突然在某一个batch训练中出现Nan。
网络搜索的资料：
1. How to avoid that Theano computing gradient going toward NaN https://stackoverflow.com/questions/40405334/how-to-avoid-that-theano-computing-gradient-going-toward-nan
2. 训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？ https://www.zhihu.com/question/49346370
3. Theano调试技巧 https://zhuanlan.zhihu.com/p/24857032
其实1中的说法挺好的：
最低0.47元/天 解锁文章
扫一扫
5194
到【灌水乐园】发言
