17、误差熵准则下的自适应滤波与神经网络训练

误差熵准则下的自适应滤波与神经网络训练

1. 误差熵准则算法概述

误差熵准则（EEC）下的最小误差熵（MEE）算法可应用于自适应滤波器和回归问题。从概念上讲，EEC 是一种更强大的成本函数，因为它直接处理误差的概率密度函数（PDF）。在自适应过程中，误差的 PDF 会发生变化，滤波器的权重控制着 PDF 的形状。

在噪声消除实验中，对比了 LMS、MCC 和 MEE 成本函数的性能。通过计算信噪比（SNR）和回声返回损耗增强（ERLE），结果表明 MEE 和 MCC 算法相比 LMS 能从期望信号中去除更多的噪声功率。对于需要低计算复杂度的实际应用，如便携式设备，MCC 是一个有力的竞争者。不过，核大小需要从数据中确定，除非使用自适应核大小算法。

2. EEC 算法的计算优化

为了降低 EEC 算法的计算复杂度，提出了多种方法：
- 递归估计和随机近似 ：一些 MEE 算法（MEE - RIP、MEE - SIG）试图减少梯度的计算量。提出了对信息势（IP）的递归估计和随机近似方法，将计算复杂度从 $O(N^2)$ 降低到 $O(L)$，其中 $L$ 是用于估计 IP 的窗口中的样本数。
- MEE - SAS 算法 ：解决了搜索 EEC 的困难，该算法在很大一部分空间中具有四阶收敛性，大大加快了自适应速度，与 LMF 算法非常相似。
- NMEE 算法 ：减轻了幅度功率大幅波动的问题，并减少了搜索对核大小的依赖。
- 二阶搜索方法 ：基于定点更新的 MEE 二阶搜索