9、信息论中的熵、连续性与Haar测度相关研究

信息论中的熵、连续性与Haar测度相关研究

1. 熵的连续性与公理化方法

1.1 Rényi熵和最大熵的渐近连续性问题

在研究熵的性质时，我们关注Rényi熵 (H_{1 - s}(p)) 和最大熵 (H_{max}(p)) 是否满足渐近连续性（A4）。对于 (s \in (0, 1))，我们通过以下步骤进行分析：
- 定义分布 (p’_{d,\epsilon}) ：在集合 ({0, 1, \ldots, d - 1}) 上定义分布 (p’ {d,\epsilon}(i)) 为：
[
p’ {d,\epsilon}(i) :=
\begin{cases}
1 - \epsilon & \text{if } i = 0 \
\frac{\epsilon}{d - 1} & \text{if } i > 0
\end{cases}
]
- 计算 (d_1(p’ {d,\epsilon}, p’ {d,0})) ：可以证明 (d_1(p’ {d,\epsilon}, p’ {d,0}) = \epsilon)。
- 分析最大熵的性质 ：对于 (\epsilon > 0)，有 (\frac{H_{max}(p’ {mix,d}) - H {max}(p’ {d,0})}{\log d} = 1)。
- 计算Rényi熵 (H_{1 - s}(