贝叶斯推理以及贝叶斯滤波算法推导

贝叶斯推理以及贝叶斯滤波算法推导

最近重新翻了下《probability robotics》中对贝叶斯的数学推导和应用，恍然发现其大道至简，以及在卡尔曼滤波器，粒子滤波器等等的体现，以下给出相应的整理和理解以共分享和记录：

贝叶斯准则（Bayes rule）:

$$p(x|y)=\eta p(y|x)p(x)$$
其实这里是由两次条件概率公式推出的：
$$p(x,y)=p(x|y)p(y)=p(y|x)p(x)$$
所以这里的$\eta$其实也就是$p(y)$，因为这里很多时候是一个常数，所以也称作归一化常数。贝叶斯准则说明了一个什么道理呢？就是：
$$后验概率=先验概率\times 似然概率$$
先验概率由以往的经验给出，似然概率又当前模型给出，贝叶斯准则简短的一行公式提供了很多工程应用指导。

贝叶斯滤波器

接下来将基于贝叶斯准则推理其应用，也就是贝叶斯滤波器：

• 首先定义表示：
  $$\begin{gathered} t时刻的状态量：x_t \\ t时刻的观测量：z_t \\ t时刻的控制量：u_t \\ t时刻的转移概率：p(x_t|x_{t-1},u_t) \\ t时刻的观测概率：p(z_t|x_t) \\ t时刻的置信度：bel(x_t)=p(x_t|z_{1:t},u_{1:t}) \\ 基于t时刻以前的置信度:\overline{bel}(x_t)=p(x_t|z_{1:t-1},u_{1:t}) \end{gathered}$$
  同时给出假设：
  • 状态$x_t$是完整的
  • 马尔可夫性质
    给出贝叶斯滤波算法，其实主要就是迭代两行公式：

$Bayesfilter(bel(x_{t-1}),u_t,z_t):$
for all $x_t$ do
$\overline{bel}(x_t)=\int p(x_t|u_t,x_{t-1})bel(x_{t-1})d{x}_{t-1}$
$bel(x_t)=\eta p(z_t|x_t)\overline{bel}(x_t)$
end
return $bel(x_t)$

具体来说就是系统给出了一个机器人系统上一时刻的置信度和限制的控制量和观测量，第一步预测现在的置信度也就是先验的部分，而第二部分更新结合了测量结果得到当前的后验概率。

• 数学推导：
  同样两次条件概率公式：
  $$\begin{gathered} p(x_t,z_t|z_{1:t-1},u_{1:t})=p(x_t|z_{1:t},u_{1:t})p(z_t|z_{1:t-1},u_{1:t}) \\ =p(z_t|x_t,z_{1:t-1},u_{1:t})p(x_t|z_{1:t-1}{u}_{1:t}) \end{gathered}$$
  所以有了：$$\begin{gathered} p(x_t|z_{1:t},u_{1:t})=\frac{p(z_t|x_t,z_{1:t-1},u_{1:t})p(x_t|z_{1:t-1}{u}_{1:t})}{p(z_t|z_{1:t-1},u_{1:t})} \\ =\eta p(z_t|x_t,z_{1:t-1},u_{1:t})p(x_t|z_{1:t-1}{u}_{1:t}) \end{gathered}$$
  由于之前的假设，x状态是完整的，所以我们可以有：$p(z_t|x_t,z_{1:t-1},u_{1:t})=p(z_t|x_t)$。
  所以简化为：
  $$\begin{gathered} p(x_t|z_{1:t},u_{1:t})=\eta p(z_t|x_t)p(x_t|z_{1:t-1}{u}_{1:t}) \\ 即:bel(x_t)=\eta p(z_t|x_t)\overline{bel}(x_t) \end{gathered}$$
  那么$\overline{bel}(x_t)$怎么由已知条件得到呢？由全概率公式推广：$$\overline{bel}(x_t)=p(x_t|z_{1:t-1}{u}_{1:t})=\int p(x_t|x_{t-1},z_{1:t-1},u_{1:t})p(x_{t-1}|z_{1:t-1}{u}_{1:t})d{x}_{t-1}$$
  又一次因为知道$x_{t-1}$的完整状态，有：$p(x_t|x_{t-1},z_{1:t-1},u_{1:t})=p(x_t|x_{t-1},u_t)$,同时后一项也可以安全的省掉$u_t$对$x_{t-1}的估计$，所以有了：
  $$\begin{gathered} \overline{bel}(x_t)=\int p(x_t|x_{t-1},u_t)p(x_{t-1}|z_{1:t-1},u_{1:t-1})d{x}_{t-1} \\ =\int p(x_t|x_{t-1},u_t)bel(x-1)d{x}_{t-1} \end{gathered}$$
  也就是当前时刻的状态置信度由上一时刻的置信度以及状态转移概率给出。值得一提的是，还需要知道初始的置信度，这样便可以不断迭代。