信息论介绍

本文介绍信息论的应用及相关公式。信息量的大小，往往能判断一道题是否有解、无解，甚至反映其难度，还可用于解决实际问题。

---

信息论由香农在 1948 年提出，其核心思想是：信息是用来消除不确定性的度量。因此，要计算一个事件所表达的信息量，首先要计算其发生的概率，这样才能知道它能消除多少不确定性。

---

自信息

自信息是单个事件发生时所携带的信息量。对于某事件 $x$，若其发生概率为 $p(x){}_{0<p(x)\le 1}$。
当 $p(x)=1$ 时，表示必然发生；当 $p(x)=0$ 时，表示不可能发生。

那么信息论中的自信息公式就是 $$I(x)=-lo{g}_{2}p(x)$$其中 $I(x)$ 表示 $x$ 的自信息，单位为 $bit$。

---

信息论的应用

来看一个经典的思维问题：12 枚硬币中有一枚假币，它可能更轻也可能更重。现在给你一个天平，问如何在三步之内测出哪一枚是假币。
那么我们现在来进行测算。要判断这道题是否有解，关键在于三步之内天平能表达的信息量，是否足以区分所有可能的情况。

天平每次无非就三种结果：左边重、右边重或平衡，这三种结果都可以被利用，每种情况的概率为 $\frac{1}{3}$，所以单次测量的自信息为：$$I(x)=-lo{g}_2\frac{1}{3}=lo{g}_{2}3\approx 1.585{}_{bit}$$

由于总共能测量三次，总共能表达的信息量就等于：$$3\times 1.585{}_{bit}\approx 4.775{}_{bit}$$

接下来计算题目所需的信息量。题目中有 12 枚硬币，每一枚都可能是假币，这样就有 12 种情况；但假币既可能更轻也可能更重，所以假币更轻时有 12 种情况，假币更重时也有 12 种情况，一共就是 24 种情况。因此，每种情况的概率为 $\frac{1}{24}$，题目所需的信息量就为：$$I(x)=-lo{g}_2\frac{1}{24}=lo{g}_{2}24\approx 4.585{}_{bit}$$

很明显 $4.775_{bit}>4.585_{bit}$，即三步之内天平能表达的信息量大于题目所需的信息量，足以区分全部 24 种情况，因此就能判断出这道题目一定有解。

---

结语

信息论的用处很多，不仅可以用于测算题目是否有解，还有助于判断题目难度，以及自行出题，在某些特定情况下解题也可能用到信息论。

本文到此结束，感谢大家的浏览。