7、瑞尼熵、散度及其非参数估计器详解

瑞尼熵、散度及其非参数估计器详解

1. 二次瑞尼熵估计器

在实验科学中，由于往往难以采用参数化概率密度函数（PDF）模型，因此需要直接从样本中以非参数方式估计熵。对于连续随机变量，我们关注直接估计二次瑞尼熵，而不是先估计PDF再计算其熵。

1.1 核密度估计

假设我们有来自连续随机变量 $X$ 的 $N$ 个独立同分布（i.i.d.）样本 ${x_1, \ldots, x_N}$，使用任意核函数 $\kappa_{\sigma}(.)$ 的核（Parzen）估计的PDF为：
[
\hat{p} X(x) = \frac{1}{N\sigma} \sum {i=1}^{N} \kappa \left(\frac{x - x_i}{\sigma}\right)
]
其中，$\sigma$ 是核大小或带宽参数。核函数需满足以下性质：
1. $\kappa(x) \geq 0$。
2. $\int_{R} \kappa(x)dx = 1$。
3. $\lim_{x \to \infty} |x\kappa(x)| = 0$。

通常使用对称归一化核，它在样本处达到峰值，并且为了后续目的，核函数必须连续且可微。核密度估计的质量通常通过偏差和方差来衡量，对于核估计，偏差和方差分别为：
[
\begin{align }
\text{Bias}(\hat{p} {\sigma}(x)) &= E[\hat{p} {\sigma}(x)] - p(x) \approx \frac{\sigma^2}{2} p’‘(x