Wayne's Road to Rome!

从 SVM的那几张图可以看出来，SVM是一种典型的两类分类器，即它只回答属于正类还是负类的问题。而现实中要解决的问题，往往是多类的问题（少部分例外，例如垃圾邮件过滤，就只需要确定“是”还是“不是”垃圾邮件），比如文本分类，比如数字识别。如何由两类分类器得到多类分类器，就是一个值得研究的问题。 还以文本分类为例，现成的方法有很多，其中一种一劳永逸的方法，就是真的一次性考虑所有样本，并求解一个多目

上一篇文章（中篇）里面，我用的示意图是因子图，而里面也出现了Psi函数，本来应该当时就解释清楚的，但实在没有精力写那么多东西，所以就想放到下篇讲的。后来发现，讲条件随机场要结合有向无向图和independence graph，来推导模型，必须又花一些篇幅讲一下，这些都是基础背景，所以就一起推到这里来讲了。起名字还让我头疼，下已经被条件随机场预订了，这篇反正都是背景知识，所以就叫番外篇吧。建议看整个系列的时候先看这篇，理解中和下(预计一周后动笔)就好理解多了。其实感觉我不大适合写很长的东西，目前所有的内容，我

<br />动态模型的应用在移动计算中可谓日渐繁荣，不管是从传统领域转移过来的识别，智能控制等领域，还是新兴的情景信息利用，都需要对动态模型应用的掌握。正好下一个项目可能会用到通过动态模型做机器识别的算法，就在这里整理一下以前的课程和看的paper获得的知识。<br />这个上篇不会具体介绍算法，而是先大致介绍一下线性和非线性模型，然后从大方向上介绍一下解线性模型的一些常用方法。等下一次有一段连续空闲时间的时候，我准备将这几种常用方法的详细介绍和比较写成下篇。非线性模型解法的数学推导过于复杂，我也不用，就不

<br />在上一篇文章里面，我们提到了解线性动态模型的四种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，我就针对他们的原理以及相互关系，来进行一些介绍。<br /><br /><br />考虑到这四种方法中，朴素贝叶斯，隐马尔可夫，最大熵模型都是比较熟悉的，所以不做重点介绍，介绍的中心会放在中文资料很少的CRF(中文有人翻译成条件随机场)上面。但CRF会由以上三种方法引出来。<br />好，切入正题。先给出演示情景模型。假设我们有特征向量x=(x1,x2,……xm)，你可以把它们想像成一

<br />之前，我们大致介绍了解线性动态模型的前三种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，会对最后一种方法，CRF进行一些介绍。建议看这一篇文章之前，至少先把最大熵模型复习一遍，方便理解两者的关系。然后看看动态模型及其求解介绍—番外篇，对示意图的表示有一个比较清晰的认识。<br /><br /> <br />从关系图中我们看到，和NB与HMM之间的关系一样，CRF实际上就是序列版本的ME模型。当然你可以说最大熵马尔可夫也是一个序列模型，但是中篇文章已经提到了该模型的缺点了。而CR

判别式模型该模型主要对p(y|x)建模，通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常，判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的，而且难以被扩展成无监督的。　　常见的判别式模型有：　　　　Logistic regression　　　　Linear discriminant analysis　　　　Support vector machines　　　　Boosting　　　　Conditional random fie

<br />UCI数据集是一个常用的标准测试数据集，下载地址在<br />http://www.ics.uci.edu/~mlearn/MLRepository.html<br />我的主页上也有整理好的一些UCI数据集(arff格式)：<br />http://lamda.nju.edu.cn/yuy/files/download/UCI_arff.zip<br />在看别人的论文时，别人使用的数据集会给出数据集的出处或下载地址（除非是很机密的数据，例如与国家安全有关）。如果你看的论文没有给出数据集的出处

<br />无意间在网上看到了：http://weka.wiki.sourceforge.net/Use+Weka+in+your+Java+code，相对我写的代码，它的当然更有权威性。翻译完了，第一次翻译，术语的汉语很多不清楚。还没有校对，有什么错误请告诉我。<br />你可能要用的最常用的组件(components)是：<br />l  Instances 你的数据<br />l  Filter 对数据的预处理<br />l  Classifiers/Clusterer 被建立在预处理的数据上，分类/

从最一般的定义上说，一个求最小值的问题就是一个优化问题（也叫寻优问题，更文绉绉的叫法是规划——Programming），它同样由两部分组成，目标函数和约束条件，可以用下面的式子表示： （式1） 约束条件用函数c来表示，就是constrain的意思啦。你可以看出一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。 关于这个式子可以这样来理解：式中的x是自变量，但不限定它的维数必须

现在我们已经把一个本来线性不可分的文本分类问题，通过映射到高维空间而变成了线性可分的。就像下图这样：   圆形和方形的点各有成千上万个（毕竟，这就是我们训练集中文档的数量嘛，当然很大了）。现在想象我们有另一个训练集，只比原先这个训练集多了一篇文章，映射到高维空间以后（当然，也使用了相同的核函数），也就多了一个样本点，但是这个样本的位置是这样的： 就是图中黄色那个点，它是

让我再一次比较完整的重复一下我们要解决的问题：我们有属于两个类别的样本点（并不限定这些点在二维空间中）若干，如图， 圆形的样本点定为正样本（连带着，我们可以把正样本所属的类叫做正类），方形的点定为负例。我们想求得这样一个线性函数（在n维空间中的线性函数）： g(x)=wx+b 使得所有属于正类的点x+代入以后有g(x+)≥1，而所有属于负类的点x-代入后有g(x-)≤-1（之

从JasperBlog转载 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，

生存？还是毁灭？——哈姆雷特 可分？还是不可分？——支持向量机 之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？ 有！其思想说来也简

从Jaspers blog 转载 上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义： 间隔：δ=y(wx+b)=|g(x)| 几何间隔：   可以看出δ=||w||δ几何。注

数据仓库，数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式，它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法（Classification）用于预测数据对象的离散类别（Categorical Label）；预测方法（Prediction ）用于预测数据对象的连续取值。  分类技术在很多领域都有应用，例如可以通过客户

随机场（Random field）定义如下：在概率论中, 由样本空间Ω = {0, 1, ..., G − 1}n取样构成的随机变量Xi所组成的S = {X1, ..., Xn}。若对所有的ω∈Ω下式均成立，则称π为一个随机场。π(ω) > 0.一些已有的随机场如：马尔可夫随机场(MRF),吉布斯随机场(GRF),条件随机场(CRF), 和高斯随机场。随机场（Random field）定义如下：在概率论中, 由样本空间Ω = {0, 1, …, G − 1}n取样构成的随机变量Xi所组成的S = {X1,