7、信息论与密码学基础概念解析

信息论与密码学基础概念解析

1. 信息熵相关概念

信息熵是密码学中的重要概念，通常也被称为香农熵。我们可以通过特定方程计算某个变量 X 的信息熵，前提是知道 X 每个可能值的概率。若不知道这些概率，也能通过另一个方程得到 X 所含信息的范围。

除了基本的信息熵，还有几个与之密切相关的概念：
- 联合熵 ：指两个变量或两条消息的熵。若两条消息真正独立，它们的联合熵就是两个熵的总和。
- 条件熵 ：当两个变量不独立，变量 Y 依赖于变量 X 时，就存在条件熵。
- 微分熵 ：这是一个更复杂的主题，涉及将香农的熵概念扩展到连续随机变量，而非离散随机变量。

2. 信息量化

理解信息熵对于理解如何量化信息至关重要。在信息论中，通常在二进制信息（比特）的背景下进行信息量化。计算机以比特形式存储数据，一个比特只能取 0 或 1 两个值，相当于“是”或“否”。多个比特组合可以包含更多的“是”或“否”值，从而积累更多信息。

为了更好地理解信息量化，我们可以进行一个思想实验：假设有人给你一个密封的信封，里面有一条消息，你不能打开信封，只能通过一系列“是”或“否”的问题来确定消息内容。平均需要多少个问题才能准确识别消息内容呢？我们可以将消息编号为 Mi，获取特定消息的概率为 Pi，计算给定消息的熵就是量化该消息的信息内容。

3. 混淆与扩散

3.1 混淆

混淆的概念在密码学中由香农于 1948 年提出。其目的是使密文的统计频率与实际密钥之间的关系尽可