8、瑞尼熵、散度及其非参数估计器的深入解析

瑞尼熵、散度及其非参数估计器的深入解析

1. 信息势估计器的偏差与方差

在分析信息势估计器时，我们主要关注其偏差和方差，这有助于我们了解估计器的性能和准确性。

1.1 信息势估计器的偏差

对于有限样本，我们使用数据概率密度函数（PDF）的形状来分析信息势的偏差。这里选择高斯核进行密度估计，信息势估计器的表达式为：
[
\hat{V} {2,\sigma}(X) = \frac{1}{N^2} \sum {i=1}^{N} \sum_{j=1}^{N} G_{\sigma}(x_j - x_i)
]
通过取期望得到信息势的偏差：
[
E[\hat{V} {2}(X)] = E\left[\frac{1}{N^2} \sum {i=1}^{N} \sum_{j=1}^{N} G_{\sigma}(x_j - x_i)\right] = \frac{1}{N^2} \sum_{i=1}^{N} \sum_{j=1}^{N} E[G_{\sigma}(x_j - x_i)] = E[G_{\sigma}(x_j - x_i)]
]
将PDF展开为泰勒级数，并利用数据的独立同分布（i.i.d.）假设和期望值的定义，经过一系列推导得到：
[
E[G_{\sigma}(x_j - x_i)] \approx \int p^2(x)dx + \frac{\sigma^2}{2} \mu_2(G) \int p(x)p’‘(x)dx
]
其中，对于高斯核，(\mu_2(G) = \int \sigma^2 G_{\sigma}(s)