21、经典信息与熵：深入解析信息度量

经典信息与熵：深入解析信息度量

在信息的世界里，所有物理系统都能记录信息比特，无论是原子、电流、台球的位置还是开关。信息可分为经典信息、量子信息或两者的混合，这取决于具体的系统。例如，原子、电子或超导系统能记录量子信息，因为量子理论适用于这些系统；而台球的位置则只记录经典信息。不过，这些能记录量子信息的系统同样也能记录经典比特。

在信息论的语境中，“信息”这个术语有着精确的含义，与我们日常对它的理解有所不同。物理比特指的是比特的物理表示，而信息比特则衡量了我们从随机实验结果中所学到的信息量。用“惊喜”这个词或许更能准确地表达信息论中信息的概念。

接下来，我们将正式开启对经典信息的研究。我们会先从随机变量的熵开始，逐步拓展到其他信息度量。这些度量不仅能帮助我们直观理解信息，还是解决使用噪声资源执行操作任务的关键。

1. 随机变量的熵

考虑一个随机变量 $X$，其每个实现 $x$ 都属于一个字母表 $X$。用 $p_X(x)$ 表示 $X$ 的概率密度函数，即实现 $x$ 发生的概率。特定实现 $x$ 的信息内容 $i(x)$ 衡量了我们得知随机实验结果时的惊喜程度：
[i(x) \equiv -\log (p_X(x))]
这里的对数以 2 为底，这意味着我们用比特来度量惊喜或信息。

信息内容具有以下特点：
- 与概率的关系 ：低概率事件的信息内容高，因为它们更令人惊讶；高概率事件的信息内容低，因为它们不那么令人意外。从图中可以看出，任何实现 $x$ 的信息内容都是非负的。
- 可加性 ：由于对数函数的选择，信息内容具有可加性。