9、信息论中的Renyi熵、散度及其非参数估计

信息论中的Renyi熵、散度及其非参数估计

1. 信息力与Renyi熵估计的挑战

在信息论的研究中，信息力和熵的估计是重要的内容。首先，二次力的定义为：
[
\hat{F} 2(x_j) \triangleq \frac{1}{N} \left[ \sum {i=1}^{N} \kappa’ {\sigma}(x_j - x_i) \right]
]
从作用在样本 ( x_j ) 上的总信息力公式（2.69），结合二次力的可加性，可得出每个样本的单独贡献为：
[
\hat{F} {\alpha}(x_j; x_i) = (\alpha - 1)\hat{p}^{\alpha - 2} {X}(x_j) \hat{F}_2(x_j; x_i)
]
其中，
[
\hat{F}_2(x_j; x_i) \triangleq \kappa’ {\sigma}(x_j - x_i)
]

这些信息势和信息力的定义可以很容易地扩展到多维情况，但在选择多维核函数时，需要遵循一些限制条件。

广义信息力引入了一个缩放因子，它取决于相应样本的估计概率密度和所选的熵阶数。当 ( \alpha = 2 ) 时，二次信息势对所有样本的贡献一视同仁。当 ( \alpha > 2 ) 时，样本空间中密集区域的样本所受的力会被放大；而当 ( \alpha < 2 ) 时，数据空间中稀疏区域的样本所受的力会被放大。

这也揭示了使用核估计器直接从样本中估计香农熵的困难。当 ( \alpha = 1 ) 时，通过公