23、最小均方（LMS）算法详解

最小均方（LMS）算法详解

1. 引言

最小均方（LMS）算法由Widrow和Hoff在1960年开发，它是随机梯度算法的一种。由于其鲁棒性和低计算复杂度，该算法在众多领域得到了广泛应用。

LMS算法具有以下重要特性：
1. 无需矩阵求逆即可求解Wiener - Hopf方程，也不需要滤波器输入的自相关矩阵以及滤波器输入与期望信号之间的互相关信息。
2. 形式和实现都很简单，但在自适应过程中能提供高性能。
3. 迭代过程包括：
- 计算一组抽头输入（滤波器系数）产生的有限脉冲响应（FIR）滤波器的输出。
- 通过计算滤波器输出与期望响应的误差来生成估计误差。
- 根据估计误差调整抽头权重（滤波器系数）。
4. 在第n + 1次迭代中，用于确定系数值的相关项包含随机乘积x(n)e(n)，且没有最速下降法中存在的期望运算。
5. 由于没有期望运算，每个系数在迭代过程中会经历剧烈变化（噪声）。因此，LMS算法不会收敛到Wiener解，而是在误差性能表面的最小点（最优值）附近随机波动。
6. 包含一个步长参数μ，必须适当选择该参数以控制算法的稳定性和收敛速度。
7. 对于各种信号条件都具有稳定性和鲁棒性。

2. LMS算法

使用最速下降法可得到以下关系：
[
\begin{align }
\mathbf{w}(n + 1) &= \mathbf{w}(n)-\mu\nabla_{\mathbf{w}}J(\mathbf{w}(n))\
\nabla_{\mathbf{w}}J(\mathbf{w}(n))&a