交叉熵（cross entropy）

交叉熵

给定两个概率分布：p（理想结果即正确标签向量）和q（神经网络输出结果即经过softmax转换后的结果向量），则通过q来表示p的交叉熵为：

H(p,q)=−∑xp(x)logq(x)

注意：既然p和q都是一种概率分布，那么对于任意的x，应该属于[0,1]并且所有概率和为1

∀xp(X=x)ϵ[0,1]且∑xp(X=x)=1

交叉熵刻画的是通过概率分布q来表达概率分布p的困难程度，其中p是正确答案，q是预测值，也就是交叉熵值越小，两个概率分布越接近

转载于：关于交叉熵（cross entropy），你了解哪些