一文读懂卷积神经网络中softmax，softmaxloss, 交叉熵的理解

信息量

意义

用来衡量信息量的大小。

公式

I(x)=−log(P(x))

解释：香农对信息量大小的解释为，如果这件事发生的概率越大，信息量越小，如果这件事发生的概率越小，则信息量越大。所以，**信息量I和这件事发生的概率p成反比。**对数函数在0到1内的值为负数，在对数函数前面加个负号，就满足了信息量的定义，即信息量和事件发生的概率成反比。

信息熵

意义

信息熵也称之为信息熵的期望，即均值，信息量的平均水平是多少。