23、经典与量子信息中的熵不等式及相关信息度量

经典与量子信息中的熵不等式及相关信息度量

熵不等式的近饱和情况

熵不等式在经典信息理论中起着基础性的作用，很多经典容量定理的逆定理都可以通过这些熵不等式来证明。因此，深入研究这些不等式并探索更精确的表述是很有价值的。每个熵不等式都有其饱和条件，例如相对熵的非负性在 $p = q$ 时饱和，互信息的非负性在随机变量 $X$ 和 $Y$ 独立时饱和。那么当这些熵不等式接近饱和时，我们能得到怎样的结论呢？

Pinsker 不等式

Pinsker 不等式是经典情况下细化熵不等式的主要工具之一，它建立了相对熵和经典迹距离之间的关系。

定理 10.8.1（Pinsker 不等式） ：设 $p$ 是有限字母表 $X$ 上的概率分布，$q: X \to [0, 1]$ 满足 $\sum_{x} q(x) \leq 1$，则有
$D(p|q) \geq \frac{1}{2 \ln 2} |p - q|_1^2$。

Pinsker 不等式的作用在于它将一种可区分性度量与另一种联系起来，从而使我们能够对熵不等式的近饱和情况做出精确的陈述。在证明该不等式之前，需要先证明一个引理：

引理 10.8.1 ：设 $a, b \in [0, 1]$，则 $a \ln \frac{a}{b} + (1 - a) \ln \frac{1 - a}{1 - b} \geq 2 (a - b)^2$。

证明过程如下：
1. 当 $b = 0$ 或 $b = 1$ 时，该不等式显然成立。
2. 当 $b \in (0, 1)$ 且