【AIGC】信息量、熵、交叉熵、KL散度、二值交叉熵(Binary Cross-Entropy，BCE)

本文详细的推导了二值交叉熵(BCE)和二值交叉熵损失函数(BCE Loss)之间的关系。

一、 理论基础

$A:=f(\cdot )$ 表示$A$定义为$f(\cdot )$，这是人们为了某些目的而将$A$定义成$f(\cdot )$的，有意义的定义往往能揭示一些规律。

1. 信息量

对于事件$x$，假设它的信息量表示为$I(x)$，它发生的概率表示为$p(x)$。

基于我们的常识可以知道：

1. 一个事件$x_i$发生的概率越小，它包含的信息量$I(x_i)$应该越大$=>I$应该和$p$成反比$=>$即$I$和$\frac{1}{p}$成正比
2. 两个事件$x_i,x_j$的信息量$I(x_i)+I(x_j)$相加，应该和这两个事件同时发生有关（注意：两个事件同时发生的概率等于两个事件的概率之积$p(x_i)p(x_j)$）$=>I$应该能把加法转换为乘法$=>$可用$log$实现

基于上面两个性质，可以有$I(x):=log\frac{1}{p(x)}$ ，log的底取任何>1的值其实都没关系，但为了让它更有意义，通常取$2$为底，因为这样，就能使得抛硬币正面朝上这样只有$\frac{1}{2}$ 概率的事件的信息量刚好为1，并且可以赋予其"比特"的单位（注意，单位也是定义的，人们会把一些有意义的事情给上单位）。所以说，抛硬币正面朝上的信息量为1比特。

所以，最终定义信息量为：
$$I(x):=lo{g}_2\frac{1}{p(x)}=-lo{g}_{2}p(x)$$

2. 熵（也叫香农熵）

熵这个概念是针对一个事件集合$X$而定义的（即有一系列事件$x\in X$），

熵定义为这些事件携带信息量的平均值（也叫期望）。所以有：
$$H(p(x)):=\sum _{x\in X}p(x)I(x)=-\sum _{x\in X}p(x)lo{g}_{2}p(x)$$
或简写版：
$$H(p):=\sum p_x{I}_x=-\sum p_{x}lo{g}_2{p}_x$$
这样，熵越大，表示这个系统包含的信息越多，系统越不稳定。

熵越小，表示这个系统包含的信息越少，系统越稳定。

如上图所示，中国和法国比赛悬念比较小，所以信息量少，结果比较稳定。（虽然中国赢了有更大的信息量，但发生的概率太小，整体基本上是法国赢）

而德国对荷兰的比赛则55开，比较不稳定，谁最终夺冠是个信息量很大的事。

所以德国VS荷兰这个系统的熵>法国VS中国的熵

3. 交叉熵

对于事件$x$，
假设它发生的真实概率（ground truth probability）表示为$p(x)$
假设它的观测概率为$q(x)$（即通过多次试验得到的概率或者通过算法预测出来的概率）

则交叉熵定义为：
$$H(p(x),q(x)):=\sum _{x\in X}p(x)I^q(x)=-\sum _{x\in X}p(x)lo{g}_{2}q(x)$$
或简写版：
$$H(p,q):=\sum p_x$$