10、最小二乘法、相干性及相关概念解析

最小二乘法、相干性及相关概念解析

1. 最小二乘法相关内容

1.1 埃尔米特二次型的配方法

常见的埃尔米特二次型((y - Hx)^H(y - Hx))可写成配方法形式：
((y - Hx)^H(y - Hx) = (x - (H^HH)^{-1}H^Hy)^H(H^HH)(x - (H^HH)^{-1}H^Hy) + y^H(I - P_H)y)
由此可知，使该式最小的(x)值为最小二乘估计(\hat{x} = (H^HH)^{-1}H^Hy)，且平方误差为(y^H(I - P_H)y)。

对于加权二次型((y - Hx)^HW(y - Hx))，定义(z = W^{1/2}y)和(G = W^{1/2}H)，可将其重写为((z - Gx)^H(z - Gx))，进一步写成：
((z - Gx)^H(z - Gx) = (x - (G^HG)^{-1}G^Hz)^H(G^HG)(x - (G^HG)^{-1}G^Hz) + z^H(I - P_G)z)
此时，使该式最小的(x)值为(\hat{x} = (G^HG)^{-1}G^Hz = (H^HWH)^{-1}H^HWy)，平方误差为(z^H(I - P_G)z)。

1.2 推广到多次测量和其他成本函数

对于((Y - HX)^H(Y - HX))，可重写为：
((Y - HX)^H(Y - HX) = (X - (H^HH)^{-1}H^HY)^H(H^HH)(X - (H^HH)^{-1}H^HY) + Y^H(I - P_H)Y)
对于满足(J(Q_1 + Q_2) \geq J(Q_1) + J(Q_2))（(Q