29、预测、跟踪与动态模型

预测、跟踪与动态模型

1. 预测、关联与非线性回归

1.1 多维线性回归

回归将预测视为从已知变量 $x$ 的值来估计未知变量 $y$ 的值。对于多维变量的线性回归，可通过两种不同方法估计 $x$ 和 $y$ 之间的线性关系。
- 第一种方法 ：从模型 $y(x) = Ax + b$ 出发，通过最大似然（ML）估计，考虑模型与数据偏差 $\varepsilon_n = y_n - (Ax_n + b)$ 的似然函数，并将偏差 $\varepsilon_n$ 的概率密度建模为高斯函数来求解。
- 第二种方法 ：以联合概率密度函数 $pdf(x, y) = G(x, y|M, C)$ 的高斯模型为起点，将 $y$ 对 $x$ 的回归定义为给定 $x$ 时 $y$ 的条件期望值 $y(x) = E{y|x}$。

两种方法在高斯密度下是等价的，回归方程的参数 $A$ 和 $b$ 分别为：
$A = C_{yx} (C_{xx})^{-1}$，$b = \bar{y} - C_{yx} (C_{xx})^{-1} \bar{x}$
其中，$\bar{x} = (1/N) \sum_{n} x_n$，$\bar{y} = (1/N) \sum_{n} y_n$，$C_{xx} = (1/N) \sum_{n} (x_n - \bar{x})^2$，$C_{yx} = (1/N) \sum_{n} (y_n - \bar{y}) (x_n - \bar{x})^T$。

回归方程可写为 $y(x) = \bar{y} + C_{yx} (C_{xx})^{-