最小二乘法与最优线性滤波

参考书目《现代数字信号处理》国防科技大学出版社：

问题来源：第二章最佳线性估计与第四章最优线性滤波在解的形式上十分接近，他们又有什么内在关系呢？

特点：本文从矩阵的角度来阐述系统，并充分利用了Toeplitz的特性推导出了为什么FIR滤波求解系数要用输入的自相关和输入与输出的互相关。阐述了广义的最小二乘与最优线性滤波的内在联系。

首先先介绍一下广义的基于最小二乘的线性估计(本文将求解过程尽可能用矩阵表达)即：

                                            

从数学的角度来看H就是一个变换矩阵，但是如果从系统的角度考虑，矩阵H可以看作是一个时变非因果系统（假设H每个元素都非零且不相等“吴昊同学的观点”）。这是因为如果矩阵的每一行都不相等，说明系统的参数在变化，即是一个时变系统；又因为每一个时刻的输出可以由后面的输入决定，所以说明是一个非因果系统。从这一点可以看出来最优线性滤波只是这的一个特例。因为对于线性滤波我们只需将H换成一个Toeplitz矩阵就可以了（因为卷积可以用一个toeplitz矩阵来表示）。

接下来介绍最优线性滤波器（FIR）：