6、最小二乘法及其相关方法解析

最小二乘法及其相关方法解析

1. 基本模型与最小二乘估计

在测量过程中，若仅噪声 $n_n$ 随测量值变化，模型可表示为 $Y = Hx1^T + N$，其中 $Y = [y_1 \cdots y_N]$，$N = [n_1 \cdots n_N]$，$1 = [1 \cdots 1]^T$。问题是最小化 $tr(NN^H)$，这是残差平方和 $\sum_{n=1}^{N} n_n^H n_n$。

$x$、$Hx$ 和 $Hx1^T$ 的最小二乘估计分别为：
- $\hat{x} = (H^HH)^{-1}H^HY1(1^T 1)^{-1} = (H^HH)^{-1}H^H \left(\frac{1}{N} \sum_{n=1}^{N} y_n \right)$
- $H\hat{x} = P_HY1(1^T 1)^{-1} = P_H \left(\frac{1}{N} \sum_{n=1}^{N} y_n \right)$
- $H\hat{x}1^T = P_HYP_1$，其中 $P_1 = 1(1^T 1)^{-1}1^T$

解释如下：对 $Y$ 的各列求平均得到平均测量值，再用常规方法估计 $x$；$Hx$ 的估计是平均测量值在子空间 $\langle H \rangle$ 上的投影；$Hx1^T$ 的估计是将该投影在时间上复制，可表示为 $P_HYP_1$。也可以说，通过将时空矩阵 $Y$ 夹在 $H$ 和 $1$ 的伪逆之间得到 $x$ 的估计；夹在投影 $P_H$ 和 $1$ 的伪逆之间得到 $Hx$ 的估计；夹在空间投影 $P_H$ 和时间投影 $P_1$ 之间得到 $Hx1^T$ 的估计。若将向量 $1^T$ 替换为已知复振幅向