7、多元数据的线性函数与线性模型的力量

多元数据的线性函数与线性模型的力量

1. 多元数据的线性函数

1.1 基本概念

在数据处理中，我们常常会遇到通过线性公式从观测向量推导模型参数向量的情况。假设模型参数的列向量 $m$ 是由观测列向量 $d$ 通过线性公式 $m = Md$ 得到的，其中 $M$ 是某个矩阵。观测值 $d$ 是具有概率密度函数 $p(d)$ 的随机变量，其均值为 $\overline{d}$，协方差为 $C_d$。模型参数 $m$ 同样也是随机变量，具有概率密度函数 $p(m)$。我们的目标是推导出 $p(m)$ 的函数形式，并计算其均值 $\overline{m}$ 和协方差 $C_m$。

1.2 正态分布下的推导

当 $p(d)$ 是正态概率密度函数时，$p(m)$ 同样也是正态概率密度函数。通过使用变换规则 $p(d) = p(d(m))|\frac{\partial d}{\partial m}| = p(d(m))J(m)$ 进行推导。由于 $m = Md$，雅可比行列式 $J(m) = |\frac{\partial d}{\partial m}| = |M^{-1}| = |M|^{-1}$。经过一系列推导（利用了 $(AB)^T = B^TA^T$，$(AB)^{-1} = B^{-1}A^{-1}$，$|AB| = |A| |B|$，$|C^T| = |C|$，$|C^{-1}| = |C|^{-1}$ 等恒等式），可以得到变换后的均值和协方差矩阵的计算公式：
$\overline{m} = M\overline{d}$
$C_m = MC_dM^T$

这个公式非常重要，它展示了如何根据数据的均值和方差来计算模型参