23、经典与量子信息熵：理论、不等式及应用

经典与量子信息熵：理论、不等式及应用

1. 熵不等式的近饱和情况

熵不等式在经典信息论中具有基础性地位，许多经典容量定理的逆命题都可借助这些不等式证明。深入研究这些不等式并探索更精确的表述很有必要。例如，每个熵不等式都有饱和条件：相对熵非负性在(p = q)时饱和，互信息非负性在随机变量(X)和(Y)独立时饱和。那么，当这些熵不等式接近饱和时，能得到什么结论呢？

1.1 Pinsker不等式

Pinsker不等式是细化经典熵不等式的重要工具，它建立了相对熵与经典迹距离之间的关系。

定理1.1（Pinsker不等式） ：设(p)是有限字母表(X)上的概率分布，(q: X \to [0, 1])满足(\sum_{x} q(x) \leq 1)，则有(D(p \parallel q) \geq \frac{1}{2 \ln 2} |p - q|_1^2)。

该不等式的作用是将一种可区分性度量与另一种联系起来，从而能对熵不等式的近饱和情况做出精确表述。在证明该不等式前，需要先证明一个引理。

引理1.1 ：设(a, b \in [0, 1])，则(a \ln \frac{a}{b} + (1 - a) \ln \frac{1 - a}{1 - b} \geq 2 (a - b)^2)。

证明思路 ：通过初等微积分证明。当(b = 0)或(b = 1)时，该界显然成立。对于(b \in (0, 1))且(a \geq b)的情况，定义函数(g(a, b) = a \ln \frac{a}{b} +