7、数字滤波器设计方法：LMS、等波纹与Lp范数设计详解

数字滤波器设计方法：LMS、等波纹与Lp范数设计详解

1. LMS设计方法概述

在数字滤波器设计中，有限脉冲响应（FIR）滤波器的设计策略基于不同的优化准则可分为多个类别。在频域中，近似误差定义为：
[
\varepsilon(\omega) = H(e^{j\omega}) - H_d(e^{j\omega})
]
其中，$H(e^{j\omega})$ 是实现的 FIR 的复频率响应，$H_d(e^{j\omega})$ 是期望的复频率响应。一种常用且有效的设计准则是最小化误差平方和，即：
[
\minimize \varphi(\omega) = \sum_{\forall \omega} e^2
]

1.1 最小二乘法基础

最小二乘法为工程师和科学家提供了一种强大的方法来近似求解超定系统（即方程数量多于未知数数量）。该方法由卡尔·弗里德里希·高斯（Carl Friedrich Gauss）提出，其核心是找到一个解，使得每个方程产生的平方和最小。高斯在 1795 年 18 岁时就奠定了最小二乘法分析的基础，不过勒让德（Legendre）是第一个发表该方法的人。

对于超定系统，测量值 $y_i$ 和未知系数 $\beta_i$ 满足线性方程：
[
y_i = \sum_{j = 1}^{n} x_{ij} \beta_j, \quad i \in [1, m], m > n
]
可以写成线性代数形式：
[
X =
\begin{bmatrix}
x_{11} & x_{12} & \