<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dingxing12的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dingxing12</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dingxing12]]></copyright><item><title><![CDATA[训练网络loss出现Nan解决办法]]></title><link>https://blog.youkuaiyun.com/dingxing12/article/details/123283472</link><guid>https://blog.youkuaiyun.com/dingxing12/article/details/123283472</guid><author>dingxing12</author><pubDate>Fri, 04 Mar 2022 19:11:30 +0800</pubDate><description><![CDATA[训练网络loss出现Nan解决办法



我要鼓励娜扎

AI/深度学习/计算机视觉/机器学习/NBA

训练网络loss出现Nan解决办法

一.原因

一般来说，出现NaN有以下几种情况：

1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。

2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipp]]></description><category></category></item></channel></rss>