Markov Random Field
详细资料见Bishop的Pattern recognition and Machine Learning
Graphic Model分为有向图模型和无向图模型,无向图模型也叫做Markov networks 或 Markov random field.
我们以简单的Markov network,pairwise Markov networks来说明 Markov random field
一个简单的例子:
假设有四个学生,两个人一组做作业。A和C关系不好,所以不能在一起。B和D的作息时间不一致,也不能在一起,。最终下面4个对,(A,B);(B,C);(C,D);(D,A)。我们假设作业本身有一些问题,从而使得学生对资料由正确或者错误的理解。两个学生在做作业的过程中会对彼此产生影响。比如,A和B在一起做作业,如果A的理解有误,那么B可能也会理解错误,注意这种影响是双向的。因此,我们可以一个无向图代表这个模型。
我们引入factors,如下所示
从其他的因子,可以得到以下信息:B ans C really like to agree with each other;C and D like to argue with each other all the time;A and D like to agree.
we are going to use the notion of product of factors an so here we are and we are going to take all these factors and we are going to multiply them together.
这不是一个概率密度函数,因为它的值不是在0~1,因此需要normalized
现在我们观察它的边缘概率分布函数P(A,B)
A agree with D相似,B agree with, D disagree with C。这三个都是很强的连接关系(值都是100),要使得整个网络做出平衡,那么只有牺牲较弱连接的AB,使得A disagree B,在 ϕ1 中A0B1具有较大的值,因此最终得到较大的边缘概率。
上面只是一个简单的pair-wise形式的,可以将其拓展为一般的形式。用 XC 来表示圈C中的变量,联合分布函数就可以写为potential function ϕC(xC) 的乘积,如下:
Boltzmann Machine
RBM在deep learning中有广泛的应用。
BM的图结构如下
Restricted Boltzmann Machine
取消了v和h变量的内部联系,就得到RBM的模型,如下图所示:
v是observed variable, 我们得到v的边缘概率函数
参考
Boltzmann machine(wiki)
Restricted Boltzmann machine(wiki)
Deep Learning Document
webdancer的Blog
概率图模型Koller的Graphic Model公开课