深入浅出 GNSS 之序贯最小二乘：与批处理最小二乘、Kalman 滤波的关系

问题：什么是“序贯”？序贯最小二乘与批处理最小二乘何时等价？它与 Kalman 滤波是什么关系？

---

1. 什么是序贯最小二乘

序贯最小二乘是指：

观测数据分批到达时，不重新处理全部历史观测，而是在上一批估值及其不确定度的基础上，吸收新观测并更新结果。

可以把“序贯”理解为：

• 序：观测按先后顺序到达；
• 贯：上一阶段的结果继续传递给下一阶段。

两种计算方式的区别如下。

批处理最小二乘

收集全部观测
→ 组成完整观测方程
→ 一次求解全部未知参数

序贯最小二乘

处理已有观测
→ 保存当前估值和协方差
→ 新观测到达
→ 更新估值和协方差

序贯最小二乘没有改变最小二乘准则，只改变了数据进入计算的方式。

---

2. 批处理加权最小二乘

2.1 线性观测模型

设线性观测模型为：

$$\mathbf{z}=\mathbf{Hx}+\mathbf{v}$$

其中：

• $\mathbf{z}\in {\mathbb{R}}^m$：观测向量；
• $\mathbf{H}\in {\mathbb{R}}^{m\times n}$：设计矩阵；
• $\mathbf{x}\in {\mathbb{R}}^n$：待估参数向量；
• $\mathbf{v}\in {\mathbb{R}}^m$：观测误差向量；
• $m$：观测方程数；
• $n$：未知参数数。

假设：

$$E(\mathbf{v})=0$$

$$\mathrm{Cov}(\mathbf{v})=\mathbf{R}$$

其中：

• $E(\cdot )$：数学期望；
• $\mathrm{Cov}(\cdot )$：协方差；
• $\mathbf{R}$：观测误差协方差矩阵，假设为正定矩阵。

2.2 加权最小二乘目标函数

加权最小二乘最小化：

$$J(\mathbf{x})=(\mathbf{z}-\mathbf{Hx}{)}^{\mathrm{T}}{\mathbf{R}}^{-1}(\mathbf{z}-\mathbf{Hx})$$

其中：

• $J(\mathbf{x})$：加权残差平方和；
• $\mathbf{z}-\mathbf{Hx}$：观测残差；
• 上标 $\mathrm{T}$：矩阵转置；
• ${\mathbf{R}}^{-1}$：观测权阵。

令目标函数对 $\mathbf{x}$ 的导数为零：

$${\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{H}\hat{\mathbf{x}}={\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{z}$$

定义信息矩阵和信息向量：

$$\mathbf{\Lambda }={\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{H}$$

$$\mathbf{\eta }={\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{z}$$

其中：

• $\mathbf{\Lambda }$：信息矩阵，也就是正规矩阵；
• $\mathbf{\eta }$：信息向量，也就是正规方程右端项。

若 $\mathbf{H}$ 满列秩，则：

$$\boxed{\hat{\mathbf{x}}={\mathbf{\Lambda }}^{-1}\mathbf{\eta }=({\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{H}{)}^{-1}{\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{z}}$$

当 $\mathbf{R}$ 是真实观测协方差时，估值协方差为：

$$\boxed{{\mathbf{C}}_{\hat{x}}=({\mathbf{H}}^{\mathrm{T}}{\mathbf{R}}^{-1}\mathbf{H}{)}^{-1}={\mathbf{\Lambda }}^{-1}}$$

其中 ${\mathbf{C}}_{\hat{x}}$ 表示参数估值 $\hat{\mathbf{x}}$ 的协方差矩阵。

---

3. 序贯最小二乘的信息形式

3.1 将观测分批

设第 $i$ 批观测模型为：

$${\mathbf{z}}_i={\mathbf{H}}_i\mathbf{x}+{\mathbf{v}}_i$$

其中：

• ${\mathbf{z}}_i$：第 $i$ 批观测；
• ${\mathbf{H}}_i$：第 $i$ 批设计矩阵；
• ${\mathbf{v}}_i$：第 $i$ 批观测误差；
• $\mathbf{x}$：各批共同估计的同一个静态参数向量。

先假设不同批次的误差互不相关：

$$\mathrm{Cov}({\mathbf{v}}_i,{\mathbf{v}}_j)=0,i\ne j$$

第 $i$ 批观测协方差为：

$$\mathrm{Cov}({\mathbf{v}}_i)={\mathbf{R}}_i$$

3.2 信息逐批累加

处理完前 $k-1$ 批后：

$${\mathbf{\Lambda }}_{k-1}=\sum _{i=1}^{k-1}{\mathbf{H}}_i^{\mathrm{T}}{\mathbf{R}}_i^{-1}{\mathbf{H}}_i$$

$${\mathbf{\eta }}_{k-1}=\sum _{i=1}^{k-1}{\mathbf{H}}_i^{\mathrm{T}}{\mathbf{R}}_i^{-1}{\mathbf{z}}_i$$

加入第 $k$ 批观测：

$$\boxed{{\mathbf{\Lambda }}_k={\mathbf{\Lambda }}_{k-1}+{\mathbf{H}}_k^{\mathrm{T}}{\mathbf{R}}_k^{-1}{\mathbf{H}}_k}$$

$$\boxed{{\mathbf{\eta }}_k={\mathbf{\eta }}_{k-1}+{\mathbf{H}}_k^{\mathrm{T}}{\mathbf{R}}_k^{-1}{\mathbf{z}}_k}$$

如果 ${\mathbf{\Lambda }}_k$ 可逆，则：

$$\boxed{{\hat{\mathbf{x}}}_k={\mathbf{\Lambda }}_k^{-1}{\mathbf{\eta }}_k}$$

$$\boxed{{\mathbf{C}}_k={\mathbf{\Lambda }}_k^{-1}}$$

其中：

• ${\hat{\mathbf{x}}}_k$：吸收前 $k$ 批观测后的参数估值；
• ${\mathbf{C}}_k$：该估值的协方差。

这就是序贯最小二乘的信息形式：

新观测提供的新信息，直接累加到已有信息上。

---

4. 为什么信息可以相加

把全部观测堆叠为：

$$\mathbf{z}=\left[\begin{array}{c}{\mathbf{z}}_1\\ {\mathbf{z}}_2\\ ⋮\\ {\mathbf{z}}_k\end{array}\right],\mathbf{H}=\left[\begin{array}{c}{\mathbf{H}}_1\\ {\mathbf{H}}_2\\ ⋮\\ {\mathbf{H}}_k\end{array}\right]$$

如果各批误差互不相关，总协方差为分块对角阵：

$$\mathbf{R}=\mathrm{diag}\left({\mathbf{R}}_1,{\mathbf{R}}_2,\dots ,{\mathbf{R}}_k\right)$$

其中 $\mathrm{diag}(\cdot )$ 表示由各矩阵组成的分块对角矩阵。

于是：

HTR−1H=∑i=1kHiTRi−1Hi\mathbf H^{\mathrm T}\mathbf R^{-1}\mathbf H = \sum_{i=1}^{k} \mathbf H_i^{\mathrm T} \mathbf R_i^{-1} \mathbf H_iHTR−1H=