信息量、熵、KL散度、交叉熵、交叉熵损失函数的概念

信息量：
$$I(A)=-logP(A)$$
用log主要是为了满足$f(x_1)+f(x_2)=f(x_1\cdot x_2)$。

熵：
$$H(X)=-\sum _{x\in X}P(x)\log P(x)$$
对信息量求期望。

KL散度（相对熵）
$$D_{\text{KL}}(P\Vert Q)=\sum _{x}P(x)\log P(x)-\sum _{x}P(x)\log Q(x)$$
以概率系统$P$为基准，衡量概率系统$Q$与$P$的差异。

交叉熵
$$H(P,Q)=-\sum _{x}P(x)\log Q(x)$$
交叉熵损失函数：
$$\mathcal{L}=-\sum _{i=1}^N\sum _{x\in V}P(x_i)\log Q(x_i)$$
在LLM中N表示序列长度。