13、自适应滤波与熵、互相关熵算法的深入解析

自适应滤波与熵、互相关熵算法的深入解析

1. 自适应滤波中核大小的自适应调整

在自适应滤波里，误差熵准则（EEC）和误差互相关熵准则（ECC）中的核大小可当作学习期间需自适应调整的额外参数。这与密度估计不同，在密度估计中，找到合适的选择核大小的成本函数并非易事，这表明滤波问题相对密度估计更简单，但目前仍缺乏对适应核大小参数的最佳成本的全面研究。

当同时调整核大小参数时，EEC和ECC的自适应过程有两个成本函数：一个是用于调整滤波器参数的 $J_σ(w)$，另一个是用于调整核大小的 $J_{KL}(σ)$。为了在线调整核大小参数，我们采用了真实误差概率密度函数（PDF）与估计PDF之间的Kullback - Leibler散度作为准则。

设 $\hat{p} σ(e)$ 是使用宽度为 $\sigma$ 的高斯核，对误差的 $N$ 个样本窗口进行评估得到的估计密度：$\hat{p}_σ(e)=\frac{1}{N}\sum {i = 1}^{N}G_σ(e - e_i)$。从信息论角度看，$\sigma$ 的最优值应使估计密度与真实密度 $p(e)$ 之间的判别信息最小化。因此，优化核大小的成本函数为：
[
D_{KL}(p||\hat{p} σ)=\int p(e)\log\left(\frac{p(e)}{\hat{p}_σ(e)}\right)de=\int p(e)\log p(e)de-\int p(e)\log \hat{p}_σ(e)de
]
由于上式第一项与核大小无关，所以关于 $\sigma$ 最小化 $D {KL}(p||\hat{p} σ)$ 等价于最大化第二项，即真实