损失函数

1 损失函数

1. 交叉熵（给定两个概率分布p和q）

H(p,q)=−∑p(x)logq(x)

这里要多说一下：
信息量 设某一事件发生的概率为P(x)，其信息量表示为：

其中I(x)表示信息量，这里log表示以e为底的自然对数。
信息熵 信息熵也被称为熵，用来表示所有信息量的期望。期望是试验中每次可能结果的概率乘以其结果的总和。所以信息量的熵可表示为：

相对熵（KL散度） 如果对于同一个随机变量X有两个单独的概率分布P(x)和Q(x)，则我们可以使用KL散度来衡量这两个概率分布之间的差异。

将KL公式拆开：

前者H(p(x))表示信息熵，后者即为交叉熵，KL散度 = 交叉熵 - 信息熵

cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
#其中y代表正确结果，y_