Garfield2005的专栏

线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.　　用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示　　　　­C1和C2是要区分的两个类别，在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完

转载地址：http://blog.youkuaiyun.com/vodistr03/article/details/6393548static成员独立于该类的任意对象而存在，每个static对象是与类关联的对象，并不与该类的对象相关联。下面的代码包括了一些需要注意的地方。//-----------------------------Account.h------------------------

今天研究KMP算法，网上看到一篇非常详尽，非常不错的帖子，转帖过来大家学习学习：转载自：http://www.cppblog.com/oosky/archive/2006/07/06/9486.html*******************************************************************************************

在编程之美上看到这个题，判断一个单链表中是不是有环，网上也看到了很不错的解法和分析，还有完整的代码，转载过来，共同学习：转载地址：http://www.nowamagic.net/librarys/veda/detail/1837---------------------------------------------------------------------------------

转载：http://www.cnblogs.com/dolphin0520/archive/2011/10/11/2207886.htmlTrie树       Trie树也称字典树，因为其效率很高，所以在在字符串查找、前缀匹配等中应用很广泛，其高效率是以空间为代价的。一.Trie树的原理    利用串构建一个字典树，这个字典树保存了串的公共前缀信息，因此可以降低查

在做算法处理时经常需要推导一些公式，而这些公式基本上都是矩阵形式的，对矩阵的求导和普通函数的求导不同，给出个简单的结果吧，查查算法、优化方面的书应该也挺多的-----------------------------------------------------------------------------------------------------------------------

转自：http://blog.youkuaiyun.com/chl033/article/details/4645544****************************************************************************************************Libsvm使用心得首先下载Libsvm、Python和Gnuplot：

转载：http://blog.youkuaiyun.com/ssrs626/article/details/3256631libsvm使用LIBSVM 软件包简介LIBSVM 是台湾大学林智仁 (Chih-Jen Lin) 博士等开发设计的一个操作简单、易于使用、快速有效的通用 SVM 软件包，可以解决分类问题（包括 C- SVC 、n - SVC ）、回归问题（包括 e - SVR

july博客上已经写的不少了，但这篇博文写的更直观，收藏与此。转载自：http://www.cppblog.com/mythit/archive/2009/04/19/80492.aspx***********************************************************************************************在看下

相当详尽的文章转载：http://blog.youkuaiyun.com/new_wu/article/details/7409525%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%母函数（Generating function）详解— Tanky Woo在数学中，某个序列的母函数(Generating function，又称生成函数)

在文本分类的过程中，特征（也可以简单的理解为“词”）从人类能够理解的形式转换为计算机能够理解的形式时，实际上经过了两步骤的量化——特征选择阶段的重要程度量化和将具体文本转化为向量时的特征权重量化。初次接触文本分类的人很容易混淆这两个步骤使用的方法和各自的目的，因而我经常听到读者有类似“如何使用TFIDF做特征选择”或者“卡方检验量化权重后每篇文章都一样”等等困惑。文本分类本质上也是一个模式识别

接下来要说的东西其实不是松弛变量本身，但由于是为了使用松弛变量才引入的，因此放在这里也算合适，那就是惩罚因子C。回头看一眼引入了松弛变量以后的优化问题：注意其中C的位置，也可以回想一下C所起的作用（表征你有多么重视离群点，C越大越重视，越不想丢掉它们）。这个式子是以前做SVM的人写的，大家也就这么用，但没有任何规定说必须对所有的松弛变量都使用同一个惩罚因子，我们完全可以给每一个离群

从最一般的定义上说，一个求最小值的问题就是一个优化问题（也叫寻优问题，更文绉绉的叫法是规划——Programming），它同样由两部分组成，目标函数和约束条件，可以用下面的式子表示：　　（式1）　　约束条件用函数c来表示，就是constrain的意思啦。你可以看出一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。　　关于这个式子可以这样来理解：式中的x是自变量，但

转自：http://tech.ddvip.com/2009-02/1234595359108775.html     支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。　　支持向量机方法是建立在统计学习理论的V

上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：　　间隔：δ=y(wx+b)=|g(x)|　　几何间隔：　　可以看出δ=||w||δ几何。注意到几何间隔与||w||是成反比的，因

上回说到对于文本分类这样的不适定问题（有一个以上解的问题称为不适定问题），需要有一个指标来衡量解决方案（即我们通过训练建立的分类模型）的好坏，而分类间隔是一个比较好的指标。　　在进行文本分类的时候，我们可以让计算机这样来看待我们提供给它的训练样本，每一个样本由一个向量（就是那些文本特征所组成的向量）和一个标记（标示出这个样本属于哪个类别）组成。如下：　　Di=(xi,yi)

今天看SVM（支持向量机），开始先引入了logistic函数，虽然给出了一公式，但好奇logistic函数啥东东啊，为啥叫logistic呢，搜索ing。       说简单些，logistic函数其实就是这样一个函数：

从 SVM的那几张图可以看出来，SVM是一种典型的两类分类器，即它只回答属于正类还是负类的问题。而现实中要解决的问题，往往是多类的问题（少部分例外，例如垃圾邮件过滤，就只需要确定“是”还是“不是”垃圾邮件），比如文本分类，比如数字识别。如何由两类分类器得到多类分类器，就是一个值得研究的问题。还以文本分类为例，现成的方法有很多，其中一种一劳永逸的方法，就是真的一次性考虑所有样本，并求解一个多

实际这篇文章和前篇的转载地址一样，只不过原文的名字叫“文本分类入门（十一）特征选择方法之信息增益”，看上去承接了SVM的介绍，但实际上确实可以拿出来单学，故转载过来之后将名字更改，转载地址再贴一遍：http://www.blogjava.net/zhenandaci/archive/2009/03/24/261701.html%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

生存？还是毁灭？——哈姆雷特可分？还是不可分？——支持向量机之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也

作者注：之前转载的五篇有关SVM的文章在原文中没有了之后的内容，所以也没法转载了。今天偶然发现了另一个主页，刚好有余下的内容，就接着上次的第五篇继续转载，让有需要的人来看。接下来的几篇SVM转载出处：http://www.blogjava.net/zhenandaci/archive/2009/03/01/257237.html%%%%%%%%%%%%%%%%%%%%%%%%%%%

现在我们已经把一个本来线性不可分的文本分类问题，通过映射到高维空间而变成了线性可分的。就像下图这样： 圆形和方形的点各有成千上万个（毕竟，这就是我们训练集中文档的数量嘛，当然很大了）。现在想象我们有另一个训练集，只比原先这个训练集多了一篇文章，映射到高维空间以后（当然，也使用了相同的核函数），也就多了一个样本点，但是这个样本的位置是这样的： 就是图中黄色

今天想安装个HTK学习学习，结果中间出了问题就是在使用命令“HSLab any_name.sig”时，出现了下面的错误提示：“ERROR [+6870]  MakeXGraf: Not compiled with X11 support: use HGraf.X.c FATAL ERROR - Terminating pro”--------------------------------