············                                       这个公式中有一个很大的疑问就是为什么表达式成立，我们要选取w1呢？？······                  这个表达式的意思是：当我们的物体是第一类的时候，这时选取了第二类的时候的代价之差，P[W1]P[X|W1]/P[X]表示的是P[W1|X]的意思.

申明：本文非笔者原创，原文转载自：http://www.cnblogs.com/tornadomeet/archive/2012/11/12/2766458.html前言　　最近几周花了点时间学习了下今年暑假龙星计划的机器学习课程，具体的课程资料参考见附录。本课程选讲了写ML中的基本模型，同时还介绍了最近几年比较热门，比较新的算法，另外也将ML理论和实际问题结合

今天上课连个协方差矩阵都不会求，太丢人了。故转载一篇博文转载：http://blog.youkuaiyun.com/ybdesire/article/details/6270328协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩

转载：http://blog.youkuaiyun.com/yangliuy/article/details/8296481以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍

转载：http://www.bfcat.com/index.php/2012/04/rw_markov/这几天在看一些使用到了随机游走的相关文献，整理一下常用的公式和性质随机游走（random walk）矩阵可以看做是马尔科夫链的一种特例。对于一个图G的邻接矩阵A来说，A中的非零元素描述了图G中每一条边的权重（这里一般要求A的对角线为零）。这个权重描述了节点之间的相似性。如

Transductive Learning：从彼个例到此个例，有点象英美法系，实际案例直接结合过往的判例进行判决。关注具体实践。Inductive Learning：从多个个例归纳出普遍性，再演绎到个例，有点象大陆法系，先对过往的判例归纳总结出法律条文，再应用到实际案例进行判决。从有限的实际样本中，企图归纳出普遍真理，倾向形而上，往往会不由自主地成为教条。在传统的监督学习中，学习器

S3VM和TSVM的不同转载：http://ycool.com/post/6vc4vf7自己总结的一点学习心得，希望了解的人给予补充。TSVM都是比较早的，后来的一般都叫S3VM。提出的人不一样。Vapnik, 1998; Joachims, 1999) under the name Transductive Support Vector Machine (TSVM),

转载http://www.leexiang.com/hidden-markov-model隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时

一. 爬山算法 ( Hill Climbing )         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。         爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点为当前解，爬山算法搜索到A点这个局部最优解就会停止搜

定向搜索是一种带有带有队列（队列大小固定为k）的A*搜索，运行方式是在队列中存储排名最前k个值。每次都是找最优的进行扩展，然后更新队列。直到找到最优的值。如果不知道A*算法可以参考http://blog.youkuaiyun.com/assiduousknight/article/details/18037359栗子如下：

转载:http://blog.youkuaiyun.com/highkit/article/category/1092596最佳优先搜索时宽度优先搜索的扩展，基本思想是将节点表按据目标的距离进行排序，再以节点的估计距离为标准选择待扩展的节点。        算法步骤：         1. 用N表示已经排序的初始结点表(从小到大)         2. 如果N为空集，则退出并给出失败信

转载：http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个

机器学习与人工智能学习资源导引TopLanguage(https://groups.google.com/group/pongba/) 我经常在 TopLanguage 讨论组上推荐一些书籍，也经常问里面的牛人们搜罗一些有关的资料，人工智能、机器学习、自然语言处理、知识发现（特别地，数据挖掘）、信息检索 这些无疑是 CS 领域最好玩的分支了（也是互相紧密联系的），这里将最近

······                                                                             英语形式：         The linear transformation defined by the eigenvectors of Σ leads to vectors that  are uncorrelated

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://tonyshen.blog.51cto.com/4569905/800273高斯分布又称正态分布，被广泛用于连续变量分布的模型。对于单变量x，高斯分布的形式2.3高斯分布" title="模式识别和机器学习--- 2.3高斯分布" style="margin:0px

ARG MIN的含义是什么？最通俗的理解：表示使目标函数取最小值时的变量值From WikipediaIn mathematics, arg max (or argmax) stands for the argument of the maximum, that is to say, the set of points of the given argument for

这个公式会让人产生费解：原因是把这个理解成为了二维概率密度分布，其实p[error]这里货真价实的是一个数字，用于表示一个可能的概率。这个 问题，我们只需认为error和x是一个相关联的变量。最终可以转化成一个关于x的求值。实际上，这个函数p[error|x]是没有办法求解的。这是一个理论的式子。

······本题例子可以在外国相应的课件找到······1     我们需要知道的是，当我们根据lrt得出了相应的值时，假设我们得到的是x0，从x0到无穷大的积分，正好为p[w2],而从负无穷大到x0的积分为p[w1]。2     错误率是假设已经lrt确定的在x0左边为w1，右边为w2的基础上进行的。3    关于R1和R2的理解是：其实本质就是有x0分成的两个区间。

1.首先，我们用surf算法生成图像库中每幅图的特征点及描述符。2.再用k-means算法对图像库中的特征点进行训练，生成类心。3.生成每幅图像的BOF，具体方法为：判断图像的每个特征点与哪个类心最近，最近则放入该类心，最后将生成一列频数表，即初步的无权BOF。4.通过tf-idf对频数表加上权重，生成最终的bof。（因为每个类心对图像的影响不同。比如超市里条形码中的第一位