24、最小均方（LMS）算法的深入解析

最小均方（LMS）算法的深入解析

1. 学习曲线

1.1 假设条件

在研究学习曲线时，我们做出以下假设：
1. LMS 滤波器的输入信号 (x(n)) 是零均值平稳过程。
2. 期望信号 (d(n)) 是零均值平稳过程。
3. 对于所有的 (n)，(x(n)) 和 (d(n)) 是联合高斯分布的随机变量。
4. 在时刻 (n)，系数 (w(n)) 与输入向量 (x(n)) 和期望信号 (d(n)) 相互独立。对于较小的 (\mu) 值，假设 4 成立（独立性假设）。假设 1 和 2 简化了分析过程，假设 3 简化了最终结果，由于高斯分布的特性，推导中出现的三阶及更高阶矩可以用二阶矩表示。

1.2 均方误差推导

对误差的均方平均进行计算，由式 11.9 可得：
[
\begin{align }
J(n) &= E{e^2(n)}\
&= E{[e_o(n) - \xi^T(n)x(n)][e_o(n) - \xi^T(n)x(n)]}\
&= E{e_o^2(n)} + E{[\xi^T(n)x(n)][\xi^T(n)x(n)]} - 2E{e_o(n)\xi^T(n)x(n)}
\end{align }
]
对于独立随机变量，有以下等式：
[
\begin{align }
E{xy} &= E{x}E{y}\
E{x^2} &= E{x}^2 + E{x^2}\
E{x^2y^2} &= E{x^2}E{