lbp

在概率图模型中，实现一个算法模型的方法有很多种，但是常用的或者说可行的有两种：MCMC和近似推断。

 

近似推断的方法中，基本上是基于两种思路的，一是belief propagation，一是变分推断，其中变分推断中，有mean field算法和expectation propagation两种算法。

 

loopy belief propagation中，定义了factor graph，在此基础上实现近似推断。

 

mean field算法和 expectation propagation均是对相对熵求minimal后，得到相迎的解。而相对来说mean field算法得到的是local minimal 而ep得到的未必是minimal，感觉更多的是像名字的含义，expectation的近似。

 

MCMC是一种精确的求解，但是问题是收敛的判断比较麻烦，理论上是肯定收敛的，只是何时收敛，怎么才是收敛到真实解了，这些也是个问题。因此，MCMC的计算量要大，所以，如果处理的数据量很大的话，是无法实现MCMC采样的，计算机根本跑不动的。

 

下一阶段的任务是了解loopy belief propagation算法。