关于交叉熵损失的一些总结

首先交叉熵损失函数在机器学习中很重要，感觉期末要考

1. 信息量：一种度量信息多少的指标。如果一件事情发生的概率越大，认为其所含有的信息越少；反之，则认为其信息量越大。

2.  信息熵：表示信源所有可能发生情况的平均不确定性   

         

     3. 交叉熵：表示两个概率分布p(x)、q(x)之间的差异性信息 ,如p表示样本真实分布，q表示我们的预测

           

      交叉熵可以理解为：衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小