【深度学习】交叉熵

信息熵公式

香农（Shannon） - 信息论

$$\begin{array}{rl}H(X)& =E[I(X)]\\ & =E[-log(P(X))]\\ & =\sum _{i=0}^n-p(x_i)\cdot log(p(x_i))\end{array}$$

• $X$​ 为随机变量
• $I(X)$ 为自信息

自信息公式推导

$$\begin{array}{rl}I(X)& =log(\frac{1}{P(X)})\\ & =-log(P(X))\end{array}$$

1. 使用 $P(X)$

• 根据该基本事件 $X$​ 发生
• 自信息量 = $1/P(X)$​
  • 一个基本事件发生的概率越低，代表当其发生时所 “携带的信息” 以及 “使得系统信息熵降低程度” 更大，可以更精准地定位系统状态/熵的变化幅度

2. 选用 $log$ 的原因

• 一条信息的可能性 “含量” 随着内存位数的增加而指数倍增加
  • 系统的实际衡量标准之一就是 “内存” 大小
• 二进制：计算机存储信息
  • $1bit$ 有 { 0 , 1 } \{0, 1\} { 0,1} $\to 2^1$ 个状态
  • $Nbits$ 有 $\to 2^N$​ 个状态
• 将信息含量按照存储方式（如二进制）转化为实际的内存大小：$lo{g}_2(2^N)\to Nbits$
  • 整个系统中，每个最小单位所存储的信息量（标准化）： $i=1/2^N$
    $$\begin{array}{rl}N& =log\\ \to N& \\ \to N& \end{array}$$