7、多元数据的线性函数与线性模型的力量

多元数据的线性函数与线性模型的力量

1. 多元数据的线性函数

1.1 基本概念

假设通过线性公式 $m = Md$ 从观测列向量 $d$ 推导出模型参数列向量 $m$，其中 $M$ 是某个矩阵。观测值 $d$ 是具有概率密度函数 $p(d)$、均值 $\bar{d}$ 和协方差 $C_d$ 的随机变量，模型参数 $m$ 同样是具有概率密度函数 $p(m)$ 的随机变量。我们的目标是推导 $p(m)$ 的函数形式，并计算其均值 $\bar{m}$ 和协方差 $C_m$。

1.2 正态分布下的推导

若 $p(d)$ 是正态概率密度函数，那么 $p(m)$ 也是正态概率密度函数。通过变换规则 $p(d) = p(d(m))\left|\frac{\partial d}{\partial m}\right| = p(d(m))J(m)$ 进行推导。由于 $m = Md$，雅可比行列式 $J(m) = \left|\frac{\partial d}{\partial m}\right| = |M^{-1}| = |M|^{-1}$。经过一系列推导（利用了 $(AB)^T = B^TA^T$、$(AB)^{-1} = B^{-1}A^{-1}$、$|AB| = |A||B|$、$|C^T| = |C|$ 和 $|C^{-1}| = |C|^{-1}$ 等恒等式），可以得到变换后的均值和协方差矩阵的计算公式：
$\bar{m} = M\bar{d}$
$C_m = MC_dM^T$

这个公式非常重要，它展示了如何根据数据的均值和方差计算模型参数的均值和协方差矩阵。协方差公式 $C_m = MC_dM^T$ 可以看作是误差传播的