理解交叉熵和最大似然估计的关系

理解交叉熵作为神经网络的损失函数的意义：

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，即拟合的更好。

$CrossEntropy=H(p)+DKL(p||q)$

当p分布是已知，则熵是常量；于是交叉熵和KL散度则是等价的。

最小化KL散度和模型采用最大似然估计进行参数估计又是一致的。（可以从公式推导上证明）

这也是很多模型又采用最大似然估计作为损失函数的原因。