14、信息论密码学中的熵及其相关概念

信息论密码学中的熵及其相关概念

1. 熵度量及相关概念

在密码学研究中，除了熵度量之外，还有一些相关概念发挥着重要作用，下面为你详细介绍这些概念。

1.1 相对熵（Kullback - Leibler 散度）

对于定义在概率空间 (S) 上的离散概率分布 (P) 和 (Q)，从 (Q) 到 (P) 的相对熵（即 Kullback - Leibler (KL) 散度）定义为：
[D_{KL}(P \parallel Q) = \sum_{x \in S} P(x) \log \left(\frac{P(x)}{Q(x)}\right)]

1.2 条件熵

考虑两个随机变量 (X) 和 (Y)，其结果分别为 (x_i) 和 (y_i)，条件熵 (H(Y|X)) 定义为：
[H(Y|X) = - \sum_{x_i} \sum_{y_i} P(x_i, y_i) \log_2 P(y_i|x_i)]
(H(Y|X)) 表示在已知 (X) 值的情况下，(Y) 的不确定度。

1.3 互信息

(X) 和 (Y) 之间的互信息计算为：
[I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)]
(I(X; Y)) 量化了通过观察 (Y) 获得关于 (X) 的信息量（以比特为单位），反之亦然。

1.4 联合熵

联合熵 (H(X, Y)) 计算为：
[H(X, Y) = I(X; Y) + H(X|Y) + H(Y|X)]

1.5 下谱熵