7、信息论基础与密码学核心概念解析

信息论基础与密码学核心概念解析

1. 香农定理

1.1 香农信源编码定理

香农信源编码定理指出：不可能在不损失信息的情况下，将数据压缩到编码率低于信源的香农熵。在信息论中，熵是衡量与随机变量相关的不确定性的指标。如果以低于信息内容的编码率压缩数据，很可能会丢失一些信息。在实际应用中，消息通常会同时进行加密和压缩，压缩的目的是减少传输时间和带宽，因此该定理在数据压缩时非常重要。

1.2 有噪信道定理

有噪信道定理表明：对于任何给定程度的通信信道噪声污染，都有可能以可计算的最大速率在该信道上近乎无差错地传输离散数据（数字信息）。该定理解决了给定信道上的噪声问题，无论是无线电信号还是通过双绞线电缆传输的网络信号，信号传输中通常都会存在噪声。即使存在噪声，也可以传输数字信息，但存在一个可计算的最大信息传输速率，该速率与信道中的噪声量有关。

2. 信息论核心概念

2.1 信息熵

信息熵在信息论中的含义与物理学中的不同，它是衡量信息内容的一种方式。理解信息熵存在两个难点：
- 与热力学熵的混淆 ：在基础物理课程中，熵常被描述为系统无序程度的度量，且在封闭系统中熵趋于增加。但信息熵与热力学熵并非同一概念，在学习信息熵时，需暂时摒弃物理课程中的熵定义。
- 多种解释的矛盾感 ：许多参考资料对信息熵的解释方式不同，甚至看似相互矛盾。常见的解释有：
- 信息熵是给定消息中的信息量 ：这是一种简单易懂的定义，与其他定义本质上同义。
- 信