30、基于概率模型的拟合与运动分割

基于概率模型的拟合与运动分割

1. 基于概率模型的拟合

我们可以从已有的拟合过程中构建概率模型，这会产生一种新的模型和算法，在实际应用中非常有用。关键在于将观测数据视为由生成模型产生的，生成模型会明确每个数据点的生成方式。

1.1 最小二乘法直线拟合

在最简单的最小二乘法直线拟合情况中，我们可以通过一个自然的生成模型得到之前使用的方程。数据生成模型为：x 坐标均匀分布，y 坐标通过以下方式生成：先找到对应 x 坐标在直线上的点 axi + b，然后加上一个零均值的正态分布随机变量。用数学符号表示为：
- (x_i \sim U(R))
- (y_i \sim N(ax_i + b, \sigma^2))

我们可以直接估计该模型的未知参数，重要参数是 a 和 b（虽然知道 σ 可能也有用）。在概率模型中，通常通过最大化数据的似然函数来估计参数，一般是处理负对数似然函数并将其最小化。数据的对数似然函数为：
[
\begin{align }
L(a, b, \sigma) &= \sum_{i \in data} \log P(x_i, y_i|a, b, \sigma)\
&= \sum_{i \in data} \log P(y_i|x_i, a, b, \sigma) + \log P(x_i)\
&= \sum_{i \in data} \frac{-(y_i - (ax_i + b))^2}{2\sigma^2} - \frac{1}{2} \log 2\pi\sigma^2 + K_b
\end{align }
]