9、信息论安全：熵、最小熵与一次性密码本密钥重用分析

信息论安全：熵、最小熵与一次性密码本密钥重用分析

1. 条件熵的上界

随机变量 $X$ 在给定 $Y$ 时的条件熵有一个上界，即 $H(X | Y ) ≤ H(X)$，当且仅当 $X$ 和 $Y$ 相互独立时等号成立。这些性质反映了我们对熵的直观理解：
- 信息度量不能低于 0。
- 对集合中的元素进行编码最多需要对数位。
- 若随机变量相互独立，则需要描述两个结果的信息；若变量的结果倾向于相关，则可以节省部分比特。
- 可以先确定一个变量结果的信息，再确定另一个变量信息的“剩余部分”。
- 以 $Y$ 的形式获得关于随机变量 $X$ 的额外知识只会减少关于 $X$ 的剩余信息，若变量相互独立，这种信息则无帮助。

2. 熵与完美保密性

熵为完美保密性的概念提供了不同的形式化定义。设 $M$ 和 $C$ 分别是描述加密过程中明文和对应密文的随机变量，$H(M)$ 表示 $M$ 中存在的信息量，也可看作 $M$ 中的不确定性。一个完美的系统应满足：学习密文 $C$ 不会改变关于消息 $m$ 的已知信息（或消息 $m$ 的不确定性）。由此可得完美保密性的特征：
引理 1.43 ：若描述消息选择和对应密文的随机变量 $M$ 和 $C$ 满足 $H(M) = H(M | C )$，则加密方案是完美保密的。也就是说，知道密文 $c$ 不应提供关于未知消息 $m$ 的任何额外信息。

3. 熵的最坏情况处理——最小熵

到目前为止定义的熵度量是一种平均情况的信息度量。以一个 $\lambda$ 位随机变量 $X$ 为例，其采样过程如下：