概率图模型3(置信传播BP)

1:马尔科夫无向图

在 上面的无向图中，我们有观测变量和隐变量，是一种较简单的马尔科夫结构，3个观测变量y,3个隐藏变量x,
通过因子图的方式联合概率可以写为：
$p(x_1,x_2,x_3,y_1,y_2,y_3)=\varphi (x_1,x_2)\varphi (x_2,x_3)\psi (x_1,y_1)\psi (x_2,y_2)\psi (x_3,y_3)$
这里$\varphi ()函数代表隐状态之间的连接函数，\psi ()代表观测节点和隐藏节点的函数$

因为有：
$p(x,y)=p(x|y)p(y)$
$p(x_1,x_2,x_3,y_1,y_2,y_3)=p(x_1,x_2,x_3|y_1,y_2,y_3).p(y)$
所以：
$p(x_1,x_2,x_3|y_1,y_2,y_3)=\frac{1}{p(y)}p(x_1,x_2,x_3,y_1,y_2,y_3)$
$p(x_1,x_2,x_3|y_1,y_2,y_3)=\frac{1}{p(y)}\varphi (x_1,x_2)\varphi (x_2,x_3)\psi (x_1,y_1)\psi (x_2,y_2)\psi (x_3,y_3)$
$p(x|y)=\frac{1}{p(y)}\prod _{i,j}\varphi (x_i,x_j)\prod _i\psi (x_i,y_i)$
$这里的i和j是空间上的邻居，并且是联通的$

2：图模型中的推断问题

计算上图的边缘概率
$P(x_1|y)=\sum _{x_2}\sum _{x_3}P(x_1,x_2,x_3|y)$
如果对结构一无所知的话，直接计算，计算量是指数级别的，计算将变得非常困难
但是在我们知道是马尔科夫结构的情况下，就可以使用因子分解的方式代替上面的公式
$p(x_1|y)=\frac{1}{p(y)}\sum _{x_2}\sum _{x_3}\varphi (x_1,x_2)\varphi (x_2,x_3)\psi (x_1,y_1)\psi (x_2,y_2)\psi (x_3,y_3)$
下一步展示的是belief propagation的主要思想：因为联合概率是模块化的，
并不是每个变量都耦合到其他的变量上面，因此可以只把对应的求和符号放在
相关的变量前面，这样计算结果相同，但是计算量却少很多
$(我们标记子序列为消息m,同时x_1,x_2,x_3,y_1,y_2,y_3标记为node1到node6)$

这里我们定义下列消息术语：
$m_{41}={\psi }_1(y_1,x_1)$
$m_{52}={\psi }_1(y_2,x_2)$
$m_{63}={\psi }_1(y_3,x_3)$
$m_{32}=\sum _{x_3}{\varphi }_{23}(x_2,x_3)m_{63}(x_3)$
$m_{21}=\sum _{x_2}{\varphi }_{12}(x_1,x_2)m_{63}(x_3)$
这样计算量将从原来的$x^n$降为$n^2$,很明显通过这种方式使得计算成为可能
下面我们计算另外一个分量的边缘概率

对比7.5，这里再一次需要计算部分和：
$\sum _{x_3}{\varphi }_{23}(x_2,x_3)m_{63}(x_3)$
belief propagation能够自动的把这些部分和缓存起来给其他的概率计算使用
这些重复利用的部分和称作 “消息”

3：Belief propagation (BP)
BP算法描述：
3.1：消息传递规则
消息的参数是状态节点，这些节点是消息要到达的
$为了计算从节点j到节点i的消息$：

• $把所有到达节点j的消息联乘，除了从节点i返回给节点j的消息$
• $再乘以兼容性函数{\varphi }_{i,j}(x_i,x_j)$
  
  $上图展示了消息从节点j到节点i的传递过程$
  
  上图使用矩阵和向量的方式展示消息公式

举例：

对于上图中求节点i的概率有：
$p(x_i)=\prod m_{j,i}(x_i)$

1. $求边缘概率x_i，通过求和把x_j去掉$
   $m_{j,i}(x_i)=\sum _{x_j}\varphi (x_i,x_j)\prod _{k\in \eta (j)}{m}_{k,j}(x_j)$
   这里$\eta (j)表示节点j的邻居$

3.2 :边缘概率
一个节点的边缘概率是所有进入该节点消息的联乘
$P_i(x_i)=\prod _{j\in \eta (i)}{m}_{j,i}(x_i)$

\quad
4：BP算法描述
BP=变量消除+cache
BP:

1. get root node :获取root节点
2. collect message ：收集消息
   for $x_i$ in nb(root)
   collect message($x_i$)
3. distribute message：分发消息
   for $x_j$ in nb(root)
   distribute message($x_j$)