加权最小二乘

加权最小二乘

加权最小二乘最小二乘有两种形式：

1. Ax = b，P权阵
   求解时：
   x = (ATPA）-1*ATPb
   需要特意构建ATPA和ATPb

2. WAx = Wb
   求解时：
   令WA为A‘，Wb为b’
   A‘x=b’
   x = (A‘TA’）-1*A‘Tb’

两种的等价关系： P=WTW

后者更方便使用Eigen实现

权矩阵W

A的维度是观察数×参数维度
权矩阵大小是观察数*观测数。且是一个对角阵。
A和b矩阵都要乘以相同的权值

假设现在有两个观察方程：
a1 = 6
a1 = 3

最后a1 = 4.5
对观察方程进行加权：
100 * a1 = 100 * 6
a1 = 3

最终a1 = 5.97

权值大的观测方程会更重要，因为残差 = 100（a1 - 6)，在加权后放大了100倍，为了让残差更小，只能更加靠近或相信权值大的观测方程。