weilianyishi的博客

出处：http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中

出处：http://www.matlabsky.com/thread-10317-1-1.html线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.　　用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示C1和C2是要区分的两个类别，在二维平面中

出处：http://www.matlabsky.com/thread-10317-1-1.html支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。　　支持向量机方法是建立在统计学习理论的VC 

出处：http://blog.youkuaiyun.com/nanjunxiao/article/details/8976195学习排序（Learning to Rank）LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户

出处：http://www.matlabsky.com/thread-10317-1-1.html生存？还是毁灭？——哈姆雷特　　可分？还是不可分？——支持向量机　　之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使

出处：http://www.matlabsky.com/thread-10317-1-1.html  就是图中**那个点，它是方形的，因而它是负类的一个样本，这单独的一个样本，使得原本线性可分的问题变成了线性不可分的。这样类似的问题（仅有少数点线性不可分）叫做“近似线性可分”的问题。　　以我们人类的常识来判断，说有一万个点都符合某种规律（因而线性可分

出处：http://www.matlabsky.com/thread-10317-1-1.html上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：　　间隔：δ=y(wx+

出处：http://www.wtoutiao.com/a/2499074.html又有很长的一段时间没有更新博客了，距离上次更新已经有两个月的时间了。其中一个很大的原因是，不知道写什么好-_-，最近一段时间看了看关于SVM(Support Vector Machine)的文章，觉得SVM是一个非常有趣，而且自成一派的方向，所以今天准备写一篇关于关于SVM的文章。关于

出处：http://www.cnblogs.com/kemaswill/archive/2013/06/01/3109497.htmlL2R将机器学习的技术很好的应用到了排序中，并提出了一些新的理论和算法，不仅有效地解决了排序的问题，其中一些算法(比如LambdaRank)的思想非常新颖，可以在其他领域中进行借鉴。鉴于排序在许多领域中的核心地位，L2R可以被广泛的应用在信息(文档)检索

出处：http://blog.youkuaiyun.com/carson2005/article/details/8586201（1）LIBSVM:     http://www.csie.ntu.edu.tw/~cjlin/libsvm/LIBSVM is an integrated software for support vector classification,

出处：http://blog.sina.com.cn/s/blog_54d222750101dgz2.html马尔可夫网络，（马尔可夫随机场、无向图模型）（Markov Random Field）       马尔可夫网络，（马尔可夫随机场、无向图模型）是关于一组有马尔可夫性质随机变量Random Field）

出处：http://www.matlabsky.com/thread-10317-1-1.html从最一般的定义上说，一个求最小值的问题就是一个优化问题（也叫寻优问题，更文绉绉的叫法是规划——Programming），它同样由两部分组成，目标函数和约束条件，可以用下面的式子表示：约束条件用函数c来表示，就是constrain的意思啦。你可以看出一共有p+q个约束

出处：http://www.matlabsky.com/thread-10317-1-1.html  方形的点是负类。H，H1，H2是根据给的样本算出来的分类面，由于负类的样本很少很少，所以有一些本来是负类的样本点没有提供，比如图中两个灰色的方形点，如果这两个点有提供的话，那算出来的分类面应该是H’，H2’和H1，他们显然和之前的结果有出入，实际上负类给的样本点

出处：http://blog.youkuaiyun.com/b2b160/article/details/4680853/遗传算法的手工模拟计算示例为更好地理解遗传算法的运算过程，下面用手工计算来简单地模拟遗传算法的各    个主要执行步骤。       例：求下述二元函数的最大值：    (1) 个体编码           遗传算法的运算对象是表

出处：DCT变换和FFT变换都属于变换压缩方法(TransformCompression)，变换压缩的一个特点是将从前密度均匀的信息分布变换为密度不同的信息分布。在图像中，低频部分的信息量要大于高频部分的信息量，尽管低频部分的数据量比高频部分的数据量要小的多。例如删除掉占50%存储空间的高频部分，信息量的损失可能还不到5%。变换编码有很多种。K–L变换的压缩效率很高，但

出处：http://www.sigvc.org/bbs/forum.php?mod=viewthread&tid=981在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。

出处：http://blog.youkuaiyun.com/shiwei408/article/details/7602324欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。       简单说来，闵氏距离的缺点主要有两个：(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看

出处:http://fuliang.iteye.com/blog/1786631转载自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ Stanford Deep Learning wiki: http://deeplearning.stanford.edu/wiki/index.php/Mai

出处：http://blog.youkuaiyun.com/v_july_v/article/details/7624837#t17 支持向量机通俗导论（理解SVM的三层境界）作者：July ；致谢：pluskid、白石、JerryLead。出处：结构之法算法之道blog。前言    动笔写这个

出处：http://blog.youkuaiyun.com/xiaowei_cqu/article/details/7522368/数据降维基本原理是将样本点从输入空间通过线性或非线性变换映射到一个低维空间，从而获得一个关于原数据集紧致的低维表示。数据降维工具箱drtoolbox中众多算法，这里简单做个分类。因为很多并没有仔细了解，在此次只对八种方法做分类：主成分分析（Pr

出处：http://blog.youkuaiyun.com/memray/article/details/9023737转自：http://blog.sina.com.cn/s/blog_7f2889330101awle.html定义：Feature scaling is a method used to standardize the range of independent v

出处：http://doc.okbase.net/jianxinzhou/archive/111322.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明

出处：http://blog.youkuaiyun.com/emiyasstar__/article/details/6938608博主前言：此文章来自一份网络资料，原作者不明，是我看过的最好的一份遗传算法教程，如果你能耐心看完他，相信你一定能基本掌握遗传算法。         遗传算法的有趣应用很多，诸如寻路问题，8数码问题，囚犯困境，动作控制，找圆心问题（这是一

2.1、摘要      在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更

出处：http://blog.pluskid.org/?p=17漫谈 Clustering (1): k-means by pluskid, on 2008-12-29, in Machine Learning     66 comments本文是“漫谈 Clustering 系列”中的第 1 篇，参见本系列的其他文章。好久没有写 b

出处：http://blog.pluskid.org/?p=39漫谈 Clustering (3): Gaussian Mixture Model by pluskid, on 2009-02-02, in Machine Learning     188 comments本文是“漫谈 Clustering 系列”中的第 4 篇，参见本系列的

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-3五、前向算法（Forward Algorithm）前向算法定义（Forward algorithm definition）　　我们使用前向算法计算T长观察序列的概率:　　　　　　　其中y的每一个是观察集合

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-2五、前向算法（Forward Algorithm）计算观察序列的概率（Finding the probability of an observed sequence）2b.计算t=1时的局部概率‘s　　我们按

出处：http://www.52nlp.cn/hmm-learn-best-practices-four-hidden-markov-models四、隐马尔科夫模型（Hidden Markov Models）1、定义（Definition of a hidden Markov model）　　一个隐马尔科夫模型是一个三元组（pi, A, B）。　　：初始化概率向量；　　

出处：http://www.52nlp.cn/hmm-learn-best-practices-three-hidden-patterns三、隐藏模式（Hidden Patterns）1、马尔科夫过程的局限性　　在某些情况下，我们希望找到的模式用马尔科夫过程描述还显得不充分。回顾一下天气那个例子，一个隐士也许不能够直接获取到天气的观察情况，但是他有一些水藻。民间传说

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-4首先需要说明的是，本节不是这个系列的翻译，而是作为前向算法这一章的补充，希望能从实践的角度来说明前向算法。除了用程序来解读hmm的前向算法外，还希望将原文所举例子的问题拿出来和大家探讨。　　文中所举的程序来自于UMDHMM这个C语言

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-1五、前向算法（Forward Algorithm）计算观察序列的概率（Finding the probability of an observed sequence）1.穷举搜索（ Exhaustive sear

学习出处：http://www.52nlp.cn/hmm%e7%9b%b8%e5%85%b3%e6%96%87%e7%ab%a0%e7%b4%a2%e5%bc%95二、生成模式（Generating Patterns）1、确定性模式（Deterministic Patterns）　　考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序

出处：http://blog.163.com/zhoulili1987619@126/blog/static/353082012013113083417956/分类与聚类，监督学习与无监督学习    在讲具体的分类和聚类算法之前，有必要讲一下什么是分类，什么是聚类，以及都包含哪些具体算法或问题。Classification (分类)，对于一个 cla

出处：http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html1.1、摘要      贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义。然后，介绍贝叶斯分类

出处：http://my.oschina.net/dillan/blog/134011本文大部分来自：http://www.zhujun.me/d-separation-separation-d.html其中找了一些资料发现原文中阻塞（block）中（b）部分有出路，黑体部分修改了一下，那么‘四应用例子’部分答案也跟着修改，如果理解有误希望能给予解释，谢谢！资料

出处：http://www.52nlp.cn/hmm-learn-best-practices-six-viterbi-algorithm-4六、维特比算法（Viterbi Algorithm）维特比算法定义(Viterbi algorithm definition)1、维特比算法的形式化定义　　维特比算法可以形式化的概括为：　　对于每一个i

出处：http://www.52nlp.cn/hmm-learn-best-practices-six-viterbi-algorithm-5六、维特比算法（Viterbi Algorithm）维特比算法程序示例　　仍然需要说明的是，本节不是这个系列的翻译，而是作为维特比算法这一章的补充，将UMDHMM这个C语言版本的HMM工具包中的维特比算法程序展

出处：http://www.52nlp.cn/hmm-learn-best-practices-five-forward-algorithm-5在HMM这个翻译系列的原文中，作者举了一个前向算法的交互例子，这也是这个系列中比较出彩的地方，但是，在具体运行这个例子的时候，却发现其似乎有点问题。　　先说一下如何使用这个交互例子，运行时需要浏览器支持java，我用的是firefox。首先

出处：http://www.52nlp.cn/hmm-learn-best-practices-seven-forward-backward-algorithm-4七、前向-后向算法(Forward-backward algorithm)　　隐马尔科夫模型（HMM）的三个基本问题中，第三个HMM参数学习的问题是最难的，因为对于给定的观察序列O，没有任何一种方法可以精确地找到一组最优