11、线性模型与预测滤波：原理、方法与应用

线性模型与预测滤波：原理、方法与应用

1. 非满秩线性模型

在许多实际应用中，线性模型（$Xβ = E(y|β)$）的系数矩阵 $X$ 可能不具有满列秩。例如，在方差和协方差分析中，或者在确定自由网络点坐标的观测中，由于观测不包含网络位置和方向的信息，系数矩阵就可能不满秩。对于非满秩线性模型，有 $rankX = q < u$，且 $D(y|σ^2) = σ^2P^{-1}$。

当估计未知参数向量 $β$ 时，由于 $rankX = q$，则 $rank(X’PX) = q$，正规方程矩阵 $X’PX$ 是奇异的，不存在逆矩阵。因此，引入了对称自反广义逆 $(X’PX)^{-rs}$，它满足 $rank(X’PX) = rank(X’PX)^{-rs} = q$ 以及 $X’PX(X’PX)^{-rs}X’ = X’$。

在估计未知参数 $β$ 和方差因子 $σ^2$ 时，需要区分非信息先验和信息先验两种情况。

1.1 非信息先验

• 已知方差因子 $σ^2$ ：设 $µ_0 = (X’PX)^{-rs}X’Py$，则未知参数向量 $β$ 的后验密度函数为 $p(β|y) ∝ e^{-\frac{1}{2σ^2}(β - µ_0)’X’PX(β - µ_0)}$。由于 $det(X’PX)^{-rs} = 0$，该密度函数不能归一化。但如果限制 $β$ 向量为 $q$ 个分量，并选择 $(X’PX)^{-rs}$ 中对应的元素，得到的矩阵是正则的，此时 $β_{j··k}|y ∼ N(µ_{0,j··k}, σ^2Σ_{j··k})$ 可以归一化。
  • B