期望、信息量、熵、KL散度、交叉熵和交叉熵损失函数

一、定义

1. 期望（Expectation）

期望（Expectation） 是概率论中描述随机变量平均取值或中心位置的核心概念，也称为​​数学期望​​或​​均值​​。

• 离散型随机变量：若随机变量 X 的可能取值为 $x_1,x_2,\dots ,x_n$，对应概率为 $P(X=x_i)=p_i$，则期望定义为：

$$E(X)=\sum _{i=1}^n{x}_i\cdot p_i$$
例子：投掷标准骰子（6面均匀），$E(X)=\frac{1}{6}(1+2+3+4+5+6)=3.5$。

• 连续型随机变量：若随机变量 $X$ 的概率密度函数为 $f(x)$，则期望定义为：

$$E(X)={\int }_{-\infty }^{\infty }x\cdot f(x)dx$$
例子：身高 X 服从正态分布 $N(175,6^2)$，则 $E(X)=175$。

2. 信息量（Information Quantity）

• 定义：描述单个事件发生带来的“意外程度”。事件概率越低，信息量越大。
• 公式：
  $$I(x)=-{\log }_{2}P(x)$$
  其中 $P(x)$ 是事件 $x$ 的发生概率。单位通常为比特（bit）。
• 示例：抛一枚公平硬币（正面概率=0.5），正面朝上的信息量为 $-{\log }_{2}0.5=1$ 比特；若硬币不公平（正面概率=0.9），信息量降至 $-{\log }_{2}0.9\approx 0.15$ 比特。

3. 熵（Entropy）

• 定义：衡量整个随机系统的不确定性，是信息量的 期望 值。熵越大，系统越混乱。

• 公式：

  $$H(P)=-\sum _{i}P(x_i){\log }_{2}P(x_i)$$
  其中 $P(x_i)$ 是事件 $x_i$ 的概率。

• 示例：抛6面骰子（均匀分布）的熵为 $-{\sum }_{i=1}^6\frac{1}{6}{\log }_2\frac{1}{6}\approx 2.58$ 比特，高于抛硬币的1比特。

4. KL散度（Kullback-Leibler Divergence）

• 定义：衡量两个概率分布 $P$（真实分布）和 $Q$（预测分布）的差异，又称相对熵。
• 公式：
  $$D_{KL}(P\parallel Q)=\sum _{x}P(x){\log }_2\frac{P(x)}{Q(x)}$$
  特性：非负性（$D_{KL}\ge 0$），非对称性（$D_{KL}(P\parallel Q)\ne D_{KL}(Q\parallel P)$）。
• 物理意义：用 $Q$ 近似 $P$ 时额外损失的信息量。例如，若 $P$ 和 $Q$ 均为均匀分布，$D_{KL}=0$；若 $Q$ 偏离 $P$，则 $D_{KL}>0$。

5. 交叉熵（Cross Entropy）

• 定义：基于预测分布 $Q$ 编码真实分布 $P$ 所需的平均信息量。
• 公式：
  $$H(P,Q)=-\sum _{x}P(x){\log }_{2}Q(x)$$
• 与熵和KL散度的关系：
  $$H(P,Q)=H(P)+D_{KL}(P\parallel Q)$$
  即交叉熵 = 真实熵 + KL散度。

6. 交叉损失函数（Cross Entropy Loss）

交叉熵损失函数（Cross-Entropy Loss）是机器学习和深度学习中用于衡量模型预测概率分布与真实分布差异的核心损失函数，尤其适用于分类任务。

1. 二分类任务

设真实标签 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}，模型预测正类的概率为 $\hat{y}$，则损失函数为：
$$L=-\left[y\log (\hat{y})+(1-y)\log (1-\hat{y})\right]$$

• 当 $y=1$ 时：损失简化为 $-\log (\hat{y})$，要求模型对正类的预测概率 $\hat{y}\to 1$。
• 当 $y=0$ 时：损失简化为 $-\log (1-\hat{y})$，要求模型对负类的预测概率 $\hat{y}\to 0$。

2. 多分类任务

设有 $C$ 个类别，真实标签为 one-hot 向量 $y=[y_1,\dots ,y_C]$（仅真实类别 $y_c=1$），模型预测概率分布为 $\hat{y}=[{\hat{y}}_1,\dots ,{\hat{y}}_C]$，损失函数为：
$$L=-\sum _{k=1}^C{y}_k\log ({\hat{y}}_k)$$
由于仅真实类别 $c$ 对应的 $y_c=1$，实际计算简化为：
$$L=-\log ({\hat{y}}_c)$$
即仅关注真实类别的预测概率，要求 ${\hat{y}}_c\to 1$。

二、推导过程

交叉熵 = 真实熵 + KL散度

1. KL散度的定义
   KL散度衡量两个概率分布 $P$（真实分布）和 $Q$（预测分布）之间的差异：
   $$D_{KL}(P\parallel Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$$

   通过对数运算拆分：

   $$D_{KL}(P\parallel Q)=\sum _{x}P(x)\log P(x)-\sum _{x}P(x)\log Q(x)$$

2. 真实熵的定义
   真实熵 $H(P)$ 是分布 $P$ 自身的不确定性度量：

   $$H(P)=-\sum _{x}P(x)\log P(x)$$

   因此，KL散度中的第一项可表示为：

   $$\sum _{x}P(x)\log P(x)=-H(P)$$

3. 交叉熵的定义
   交叉熵 $H(P,Q)$ 是用分布 $Q$ 编码真实分布 $P$ 所需的平均信息量：

   $$H(P,Q)=-\sum _{x}P(x)\log Q(x)$$

   因此，KL散度中的第二项可表示为：

   $$-\sum _{x}P(x)\log Q(x)=H(P,Q)$$

4. 代入关系式
   将上述结果代入KL散度的拆分式：

   $$D_{KL}(P\parallel Q)=\left[-H(P)\right]-\left[-H(P,Q)\right]$$

   简化得：

   $$D_{KL}(P\parallel Q)=H(P,Q)-H(P)$$

   移项后即得最终关系：

   $$H(P,Q)=H(P)+D_{KL}(P\parallel Q)$$

从交叉熵到损失函数的推导

1. 二分类任务（Logistic回归）

• 真实分布：标签 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}，真实分布为 $[y,1-y]$。
• 预测分布：模型输出概率 $\hat{y}=\sigma (z)$（Sigmoid函数），分布为 $[\hat{y},1-\hat{y}]$。
• 交叉熵代入：
  $$H(P,Q)=-\left[y\log \hat{y}+(1-y)\log (1-\hat{y})\right]$$
  对 (m) 个样本求平均，得损失函数：
  $$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right]$$
  物理意义：当 $y=1$ 时，损失为 $-\log \hat{y}$，预测值 $\hat{y}\to 1$ 时损失趋近 0。

2. 多分类任务（Softmax回归）

• 真实分布：one-hot 编码 $\mathbf{y}=[0,\dots ,1,\dots ,0]$。

• 预测分布：Softmax 输出 ${\hat{y}}_k=\frac{e^{z_k}}{{\sum }_{j=1}^C{e}^{z_j}}$。

• 交叉熵代入：
  $$H(P,Q)=-\sum _{k=1}^C{y}_k\log {\hat{y}}_k$$

  由于只有目标类 $y_c=1$，其余为 0，简化为：

$$\text{Loss}=-\log {\hat{y}}_c$$

对 $m$ 个样本求平均：

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^C{y}_k^{(i)}\log {\hat{y}}_k^{(i)}$$

物理意义：最小化损失即迫使目标类预测概率 ${\hat{y}}_c\to 1$。