神经网络中，loss is nan的可能原因与解决方案

1. 处理多分类，我采用的是

全连接+relu+最后的softmax

交叉熵加正则化作为loss

loss=cem+tf.add_n(tf.get_collection('losses'))

然后，遇到了loss间隔出现nan,

2.尝试解决方案：

1，清除nan数据，

2. https://www.jianshu.com/p/79ea75c47004这篇文章提到relu和softmax两层不要连着用，最好将relu改成tanh

    大致是这样调用tf.nn.relu(tf.matmul(y7,w8)+b8)

  于是我把挨着softmax的那层relu改成了tanh。速度变慢了很多，relu误差回传的确速度很快。没有了nan问题

https://blog.youkuaiyun.com/zhuiyuanzhongjia/article/details/80576779这篇文章讲了这三个函数