26、数字信号处理中的最小二乘法及相关技术

数字信号处理中的最小二乘法及相关技术

1. 多项式最小二乘逼近

1.1 最小二乘优化问题的解释

在进行多项式逼近时，设我们要确定的多项式在点 (X_1, \cdots, X_N) 处的值为 (S_n)，我们希望用 (S_n = h_0 + h_1x_n + \cdots + h_{p - 1}x_n^{p - 1}) 来逼近正弦函数对应的 (Y_n)。将 (S_n) 堆叠起来得到的向量是由 (P) 个列向量 (e_j = [x_1^j, x_2^j, \cdots, x_N^j]^T)（其中 (j \in {0, 1, \cdots, P - 1})）生成的。因此，该问题等价于找到向量 (y = [Y_1, \cdots, Y_N]^T) 在由 (e_j) 生成的空间上的最佳逼近。根据投影定理，我们得到 (X^T Xh = X^T y)，其中 (X) 是 ((N \times P)) 矩阵，定义为 (X = [e_0, \cdots, e_{p - 1}])。若对于任意 (i \neq j) 有 (X_i \neq X_j)，则 (X) 是满秩矩阵。

1.2 实现多项式逼近的程序

以下是实现正弦函数多项式逼近的 MATLAB 代码：

%===== approxsin.m
% Approximation of a sine function
% with a (p-l) degree polynomial
x=(-pi: .2:pi)'; N=length(x);
y=sin(x); % function to be approximated
pml=14; % polyn