5.4 加权最小二乘法
最小二乘法是使 ∑ i ( b i − a r i T x ) 2 \sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2 ∑i(bi−ariTx)2 最小,这表明每次测量的重要性一样,但实际中有时存在某些测量更重要,某些更不重要。以第一个例子为例说明,假设测量直径,用了两个精度不同的设备各测一次,分别为 d h , d l d_h,d_l dh,dl ,设备的测量精度即方差分别为 σ h 2 , σ l 2 \sigma^2_h,\sigma^2_l σh2,σl2 ,设备精度越高方差越小。如何综合这两个测量结果来获得比仅用高精度设备更好的结果?如果设备精度相同,则结果为 D = ( d h + d l ) / 2 D=(d_h+d_l)/2 D=(dh+dl)/2 ,即这两个测量权重相同。如果精度不同,则显然精度高的权重要大,权重要与精度成正比,所以测量结果应该为 D = σ l 2 σ h 2 + σ l 2 d h + σ h 2 σ h 2 + σ l 2 d l D= \frac {\sigma^2_l} {\sigma^2_h+\sigma^2_l}d_h + \frac {\sigma^2_h} {\sigma^2_h+\sigma^2_l}d_l D=σh2+σl2σl2dh+σh2+σl2σh2dl ,该估计值方差为 σ 2 ( D ) = ( σ l 2 σ h 2 + σ l 2 ) 2 σ h 2 + ( σ h 2 σ h 2 + σ l 2 ) 2 σ l 2 = σ h 2 σ l 2 σ h 2 + σ l 2 \sigma^2(D)=(\frac {\sigma^2_l} {\sigma^2_h+\sigma^2_l})^2\sigma^2_h + (\frac {\sigma^2_h} {\sigma^2_h+\sigma^2_l})^2\sigma^2_l=\frac {\sigma^2_h\sigma^2_l}{\sigma^2_h+\sigma^2_l} σ2(D)=(σ