AiTODD1的专栏

学习问题在HMM模型中，已知隐藏状态的集合S，观察值的集合O，以及一个观察序列（o1,o2,...,on），求使得该观察序列出现的可能性最大的模型参数（包括初始状态概率矩阵π，状态转移矩阵A，发射矩阵B）。这正好就是EM算法要求解的问题：已知一系列的观察值X，在隐含变量Y未知的情况下求最佳参数θ*，使得：在中文词性标注里，根据为训练语料，我们观察到了一系列的词（对应EM中的X），如果每

ref：http://www.crescentmoon.info/?p=745

ref：http://www.crescentmoon.info/?p=709#more-709问题描述变分推断是一类用于贝叶斯估计和机器学习领域中近似计算复杂（intractable）积分的技术，它广泛应用于各种复杂模型的推断。本文是学习PRML第10章的一篇笔记，错误或不足的地方敬请指出。先给出问题描述。记得在上一篇EM的文章中，我们有一个观察变量X={x{1}

条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。条件随机场理论（CRFs）可以用于序列标记、

隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法主要思想如下：HMM模型是对转移概率和表现概率直接建模，统计共现概率。ME

一、 吸收态马尔可夫链马尔可夫链是一种比较常用、 比较熟悉的随机过程, 它描述的是这样的情形 一个系统具有有限个状态, 系统在下一时刻的状态取决于 系统现在所处的状态, 而与以前的状态无关, 即系统具有无后效性 系统由一种状态转移至 另一种 状态的过程称为马尔可夫过程 马尔可夫 过程按照其状态是离散的或是连续的, 分别称为状态离散的马尔可夫过程或状态连续的马 尔可夫

关联数据有两个特点：第一，我们准备建立模型的实体之间存在统计依赖性，第二，每个实体自身具有丰富的有利于分类的特征例如，当Web文档进行分类时候，网页上的文本类标签提供了很多信息，但超链接定义的页面之间的关系，可以进一步提高分类的准确度，图模型很自然的建立了实体之间的结构化关系。通常来讲，图模型已被用于表示联合概率分布P(Y,X)，其中的变量y代表我们希望预测的属性，输入变量X代表获得的实体信息。利

在上一篇中，我们已经从一个例子中学会了HMM的前向算法，解决了HMM算法的第一个问题，即模型评估问题。这一讲中我们来解决第二个问题：HMM的解码问题，即即给定观测序列 O=O1O2O3…Ot和模型参数λ=(A,B,π)，怎样寻找满足这种观察序列意义上最优的隐含状态序列S，这一步中最常用的算法就是Viterbi算法了。    同样的，我们先引入3个符合：  ：表示在观察时刻t正处在状

HMM算法想必大家已经听说了好多次了，完全看公式一头雾水。但是HMM的基本理论其实很简单。因为HMM是马尔科夫链中的一种，只是它的状态不能直接被观察到，但是可以通过观察向量间接的反映出来，即每一个观察向量由一个具有相应概率密度分布的状态序列产生，又由于每一个状态也是随机分布的，所以HMM是一个双重随机过程。     HMM是语音识别，人体行为识别，文字识别等领域应用非常广泛。     一个

分类 隐马尔科夫模型 　　HMM(隐马尔科夫模型)是自然语言处理中的一个基本模型，用途比较广泛，如汉语分词、词性标注及语音识别等，在NLP中占有很重要的地位。网上关于HMM的介绍讲解文档很多，我自己当时开始看的时候也有点稀里糊涂。后来看到wiki上举得一个关于HMM的例子才如醍醐灌顶，忽然间明白HMM的三大问题是怎么回事了。例子我借助中文wiki重新翻译了一下，并对三大基本问题进行说明，希

DTW为(Dynamic Time Warping,动态时间归准)的简称。应用很广，主要是在模板匹配中，比如说用在孤立词语音识别，计算机视觉中的行为识别，信息检索等中。可能大家学过这些类似的课程都看到过这个算法，公式也有几个，但是很抽象，当时看懂了但不久就会忘记，因为没有具体的实例来加深印象。      这次主要是用语音识别课程老师上课的一个题目来理解DTW算法。　　首先还是介绍下

EM算法本文试图用最简单的例子、最浅显的方式说明EM（Expectation Maximization）算法的应用场景和使用方法，而略去公式的推导和收敛性的证明。以下内容翻译自《Data-Intensive Text Processing with MapReduce》。Maximum Likelihood EstimationMaximum Likelihood Esti

所谓的马尔科夫过程，就是该过程的当前状态仅由前一时刻的状态确定。用概率表达即为：。隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参

ref：http://www.crescentmoon.info/?p=709#more-709问题描述变分推断是一类用于贝叶斯估计和机器学习领域中近似计算复杂（intractable）积分的技术，它广泛应用于各种复杂模型的推断。本文是学习PRML第10章的一篇笔记，错误或不足的地方敬请指出。先给出问题描述。记得在上一篇EM的文章中，我们有一个观察变量X={x{1},…,x