12、误差熵、相关熵与M估计：自适应滤波中的成本函数与鲁棒性分析

误差熵、相关熵与M估计：自适应滤波中的成本函数与鲁棒性分析

1. 引言

在自适应滤波和回归领域，让系统输出尽可能接近期望信号是常见目标。这就需要运用距离函数或相似性度量来衡量“接近”程度。均方误差（MSE）是应用广泛的成本函数，但在处理一些特殊数据分布时存在局限性。本文将深入探讨误差熵准则（EEC）、误差相关熵准则（ECC）以及M估计等相关内容，分析它们在不同场景下的表现和优势。

2. 均方误差（MSE）

2.1 MSE的定义

假设期望信号和系统输出分别为随机变量 (Z = {z_i}) 和 (Y = {y_i})，(i = 1, \ldots, N)，定义新的随机变量 (E = Z - Y)。均方误差（MSE）的定义为：
[MSE(Y, Z) = E[(Y - Z)^2] = \int_y \int_z (y - z)^2 p_{YZ}(y, z) dy dz = \int_e e^2 p_E(e) de]

2.2 MSE的特点

MSE在联合空间中是一个二次函数，沿着 (z = y) 线有一个低谷。它通过误差的平方项来衡量相似性，误差平方会被误差的概率密度函数（PDF）加权。然而，由于二阶矩的存在，远离 (z = y) 线的误差会呈二次增长，这会放大远离误差分布均值的样本的贡献。因此，高斯分布残差（或其他短尾分布）对MSE过程是最优的，但对于拉普拉斯分布等肥尾数据分布、存在异常值、非对称或非零均值的误差分布，MSE则表现不佳。

3. 误差相关熵准则（ECC）

3.1 交叉相关熵的定义

对于两个随机变量 (Z) 和 (Y)，交叉相关