21、经典信息与熵：基础概念与数学性质

经典信息与熵：基础概念与数学性质

在信息科学领域，信息的度量是一个核心问题。无论是原子、电流、台球的位置还是开关，所有物理系统都能记录信息位。信息可分为经典信息、量子信息或两者的混合，这取决于具体的系统。例如，原子、电子或超导系统可以记录量子信息，而台球的位置通常只记录经典信息。不过，即使是能记录量子信息的系统，也可以记录经典比特。

在信息论的范畴中，“信息”这个术语有着精确的含义，与我们日常对它的理解有所不同。物理比特指的是比特的物理表示，而信息比特则是衡量我们从随机实验结果中所学到的信息量。用“惊喜”这个词或许更能贴切地表达信息论中信息的概念。

1. 随机变量的熵

• 信息内容 ：考虑一个随机变量 $X$，其每个实现 $x$ 都属于一个字母表 $X$。$p_X(x)$ 表示 $X$ 的概率密度函数，即实现 $x$ 发生的概率。特定实现 $x$ 的信息内容 $i(x)$ 是衡量我们在得知随机实验结果时的惊喜程度：
• $i(x) \equiv -\log (p_X(x))$
• 这里的对数以 2 为底，这意味着我们以比特为单位来衡量惊喜或信息。信息内容具有非负性，对于低概率事件，其信息内容较高，因为它们更能让我们感到惊喜；而对于高概率事件，信息内容较低。此外，信息内容还具有可加性，对于两个独立的随机实验，分别有实现 $x_1$ 和 $x_2$，则有 $i(x_1, x_2) = i(x_1) + i(x_2)$。
• 熵的定义 ：信息内容能衡量特定实现的惊喜程度，但不能捕捉随机变量 $X$ 整体的惊喜程度。而熵 $H(X)$ 则可以，