14、数字信号处理中的最小二乘法与参数估计

数字信号处理中的最小二乘法与参数估计

1. 线性最小二乘法（Linear Least Squares）

线性最小二乘法是一种常用的参数估计方法。对于标量参数，我们设定信号 (s(n) = qh(n))，其中 (h(n)) 是已知序列。此时，最小二乘误差准则为：
[J(q)=\sum_{n = 0}^{N - 1}(x(n)-qh(n))^2]
将上式展开并对 (q) 求导，令导数为零，可得到 (q) 的最小二乘估计（LSE）：
[\hat{q}=\frac{\sum_{n = 0}^{N - 1}x(n)h(n)}{\sum_{n = 0}^{N - 1}h^2(n)}]
最小的最小二乘误差为：
[J_{min}=J(\hat{q})=\sum_{n = 0}^{N - 1}x^2(n)-\hat{q}\sum_{n = 0}^{N - 1}x(n)h(n)]
也可表示为：
[J_{min}=\sum_{n = 0}^{N - 1}x^2(n)-\left(\frac{\sum_{n = 0}^{N - 1}x(n)h(n)}{\sum_{n = 0}^{N - 1}h^2(n)}\right)^2]

示例 7.3.1 ：若输出为 (x(n)=a + bn+cn^2 + v(n))，其中 (v(n)) 是均值为零、方差为 1 的正态信号，且 (a = 2)，(b = 0.1)，(c = 0.1)。以下是使用 MATLAB 进行估计的代码：

n = 0:15;
x = 2 + 0.1*n + 0.1*n.^2 +