为何使用交叉熵作为损失函数？

• 以下图片来自：
  https://www.zhihu.com/question/41252833 （Noriko Oshima 的回答）
  即用一个概率分布，去尽可能的估计真实数据分布，“使用错误分布q来表示来自真实分布p的平均编码长度”，这个长度大于等于真实分布编码的长度。因此，交叉熵越小越好。
  相对熵是错误编码长度和真实编码长度的差值，也即KL散度。
  

还有一篇博客来自：
http://shuokay.com/2017/06/23/cross-entropy/

---

为何用交叉熵损失函数：

https://blog.youkuaiyun.com/aliceyangxi1987/article/details/80532586：
为什么不用平方损失函数
如果使用平方损失函数，梯度更新的速度会和 sigmod 函数的梯度相关，sigmod 函数在定义域内的梯度都不大于0.25，导致训练速度会非常慢。
而且平方损失会导致损失函数是 theta 的非凸函数，不利于求解，因为非凸函数存在很多局部最优解。

https://zhuanlan.zhihu.com/p/53045651