概率图模型及序列标注

一、概率图模型

概率图模型是一类用图来表达变量相关关系的概率模型。以图作为表示工具，最常见的使用一个节点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系，即“变量关系图”。概率图模型大致分为两类：

1、贝叶斯网（Bayesian network）：使用有向无环图表示变量间的依赖关系，又称为信念网络（belief network）或者有向无环图模型；

注意：

（1）朴素贝叶斯是一种特殊的贝叶斯网络，在贝叶斯网络的基础上加上了特征相互独立这个条件；

参考：http://blog.youkuaiyun.com/busycai/article/details/6635877

（2）隐马尔可夫模型（Hidden Markov Model，HMM）是结构最简单的动态贝叶斯网络，主要用于时序数据建模，在语音识别、NLP等领域有着广泛应用。

参考：http://www.cnblogs.com/skyme/p/4651331.html   《机器学习》（周志华）14.1小节

参考：http://f.dataguru.cn/thread-714649-1-1.html

（3）最大熵模型（MEM）（不属于概率图模型）

判别模型

参考：http://blog.youkuaiyun.com/erli11/article/details/24718655 （讲的很好）

参考：http://www.cnblogs.com/ooon/p/5677098.html

（4）最大熵隐马尔可夫模型（MEMM）

判别模型

参考：http://www.cnblogs.com/kevinGaoblog/p/3874709.html

2、 马尔科夫网（Markov network）：使用无向图表示变量间的相关关系。

参考：http://blog.youkuaiyun.com/polly_yang/article/details/9716591

常见的马尔科夫网：

随机场：当给空间中每一个位置按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场；两个要素，位置、相空间。

（1）马尔可夫随机场（Markov Random Field，MRF），是生成模型。应用于图像处理领域。

（2）条件随机场（Conditional Random Field，CRF），条件随机场可以看作给定观测值的马尔可夫随机场，是判别模型。基于隐马尔科夫模型，并结合了最大熵模型的特点。用于分词、词性标注等序列标注问题。

二、序列标注

参考：http://blog.youkuaiyun.com/malefactor/article/details/50725480

RNN可以用来做序列标注