7、最小二乘法及其相关方法

最小二乘法及其相关方法

在信号处理和数据分析领域，最小二乘法是一种常用的估计方法。本文将详细介绍过定和欠定线性模型下的最小二乘法及其相关估计器。

1. 过定最小二乘法及其相关方法

1.1 一维子空间的情况

当尝试分辨两个紧密间隔的一维子空间 $\langle h_1 \rangle$ 和 $\langle h_2 \rangle$ 时，有 $tr(Q) = \frac{\sigma^2}{1 - \frac{|h_1^H h_2|^2}{(h_1^H h_1)(h_2^H h_2)}}$。若 $h_1$ 和 $h_2$ 是范德蒙德模式，即 $h_1 = [1, e^{j\theta_1}, \cdots, e^{j(L - 1)\theta_1}]^T$，$h_2 = [1, e^{j\theta_2}, \cdots, e^{j(L - 1)\theta_2}]^T$，则 $tr(Q) = \frac{\sigma^2}{1 - \frac{1}{L^2}\frac{\sin^2(L(\theta_1 - \theta_2)/2)}{\sin^2((\theta_1 - \theta_2)/2)}}$，当 $\theta_1 - \theta_2$ 趋近于 0 时，$tr(Q)$ 无界增大。

1.2 最佳线性无偏估计器（BLUE）

• 定义与问题 ：最佳线性无偏估计器（BLUE）也称为最小方差无偏估计器（MVUB）或最小方差无失真响应（MVDR）估计器。测量模型为 $y = Hx + n$，其中噪声 $n$ 均值为 0，协方差矩阵为 $R_{nn} = E[nn^H]$。问题是在 $