17、经典与量子熵函数：定义、性质与定量界限

经典与量子熵函数：定义、性质与定量界限

1. 经典熵的基本概念

1.1 条件香农熵与互信息

在经典信息论中，两个经典寄存器 (X) 和 (Y) 之间存在着各种关联，这些关联与它们的联合概率状态相关。条件香农熵 (H(X | Y)) 定义为：
[H(X | Y) = H(X, Y) - H(Y)]
直观地说，这个量衡量了在得知 (Y) 的经典状态后，对 (X) 的经典状态的预期不确定性。而 (X) 和 (Y) 之间的互信息 (I(X : Y)) 定义为：
[I(X : Y) = H(X) + H(Y) - H(X, Y)]
它也可以表示为 (I(X : Y) = H(Y) - H(Y|X) = H(X) - H(X|Y))。通常认为，这个量代表了通过得知 (Y) 的经典状态而获得的关于 (X) 的预期信息量，或者通过得知 (X) 的经典状态而获得的关于 (Y) 的预期信息量。

1.2 经典熵函数的性质

1.2.1 标量类似函数

为了研究香农熵和相对熵函数的基本分析性质，定义了它们的标量类似函数。
- 香农熵的标量类似函数 (\eta(\alpha)) ：
[\eta(\alpha) = \begin{cases}
-\alpha \ln(\alpha) & \alpha > 0 \
0 & \alpha = 0
\end{cases}]
函数 (\eta(\alpha)) 在其定义域上处处连续，并且对于所有正实数，其各阶导数都存在。其一阶导数为 (\eta’(\alpha)