11、最小误差熵算法及其性能表面分析

最小误差熵算法及其性能表面分析

1. 最小误差熵算法基础

1.1 误差熵准则的直觉与目标

在监督学习中，熵准则背后的直觉很直接。给定输入 - 输出映射的样本，为了从数据中提取最多的结构信息，需要最小化误差信号的信息内容，也就是最小化训练数据集上的误差熵。这可以通过一个 delta 函数来实现（即如果系统有足够的自由度精确解决问题，所有误差相等）。

1.2 相关定理

定理 3.1

线性组合器的 EEC 准则的驻点满足：
[E\left[\frac{\partial p_e}{\partial e} X\right] = -E\left[\frac{\partial p_e}{\partial w}\right]]
这个等式很有趣，它在权重向量与 PDF 泛函导数的内积和 PDF 关于权重的导数的期望值之间建立了平衡。当等式右边为零时，PDF 函数的导数与权重向量正交。

定理 3.2

用 IP 估计的 EEC 的驻点转化为输入向量差与由误差差的核加权的误差差之间的正交条件。即定义 (\Delta e_{ij} = e_i - e_j)，(\Delta x_{ij} = x_i - x_j) 后，(E[G(\Delta e)\Delta e\Delta x]) 在驻点处，微分输入和由 (G(\Delta e)) 旋转的微分误差必须相互正交。该定理表明，当增量误差较小时，MEE 提供与 MSE“相似”的权重更新，但当增量误差较大时，会大幅减少权重更新，因此 MEE 准则对脉冲噪声具有鲁棒性。

定理 3.3

在完美识别情况下，误差熵