W1995S的博客

使用tensorflow计算两向量交叉熵的时候，用到上述函数，发现这样的交叉熵的loss数值非常大，并且发现，虽然更新模型，没有出现太多问题，但是偶尔会出现loss为inf或nan的报错信息，导致程序崩溃。首先检查发现，函数的logits输入的向量，几乎在1e+8的范围（或者是负数达到这个数量级），根据sigmoid的函数的取值，过一层sigmoid激活函数后，这样的数值会变成接近1（或者接近0）的数值。但实际上，其实sigmoid函数在超过+5和小于-5的时候，都接近平滑（也就是接近1或者0的上界或下界

tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)定义在：tensorflow/python/ops/nn_impl.py。计算给定logits的sigmoid交叉熵。测量离散分类任务中的概率误差，其中每个类是独立的而不是互斥的。例如，可以执行多标签分类，其中图片可以同时包含大象和狗。为简洁起见， x = logits, z = labels。logistic损失是