【Python深度学习】——交叉熵|KL散度|交叉熵损失函数

1. 交叉熵Cross Entropy

1.1 交叉熵的含义

交叉熵是两个概率分布之间差异的一种度量.
在机器学习中被广泛应用，尤其是分类问题中。

1.2 交叉熵的公式

$$H(P,Q)=-\sum _{i}P(x_i)\log Q(x_i)$$
其中, $$P(x_i)$$是真实分布中第 ( i ) 个事件的概率;
$$Q(x_i)$$是模型预测分布中第 ( i ) 个事件的概率。

1.3 交叉熵的特点

1. 当模型的预测分布 𝑄 越接近真实分布 𝑃 时，交叉熵值越小。
2. 交叉熵的值总是大于系统真实熵的值。

2. KL散度

2.1 KL散度的含义

KL散度也称为相对熵, 它也是度量两个概率分布之间差异的一种方式. 它是以Kullback和Leibler两个人命名的.

2.2 KL散度的公式

假设有两个概率分布 𝑃 和 𝑄，其中 𝑃 是真实分布，𝑄 是模型的预测分布。KL散度表示二者的交叉熵与熵的差:
$$D_{KL}(P\parallel Q)=H(P,$$