1.首先，我们用surf算法生成图像库中每幅图的特征点及描述符。2.再用k-means算法对图像库中的特征点进行训练，生成类心。3.生成每幅图像的BOF，具体方法为：判断图像的每个特征点与哪个类心最近，最近则放入该类心，最后将生成一列频数表，即初步的无权BOF。4.通过tf-idf对频数表加上权重，生成最终的bof。（因为每个类心对图像的影响不同。比如超市里条形码中的第一位

转载:http://blog.youkuaiyun.com/highkit/article/category/1092596最佳优先搜索时宽度优先搜索的扩展，基本思想是将节点表按据目标的距离进行排序，再以节点的估计距离为标准选择待扩展的节点。        算法步骤：         1. 用N表示已经排序的初始结点表(从小到大)         2. 如果N为空集，则退出并给出失败信

转载：http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个

第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM                      （Machine Learning & Data Mining交流群：8986884）引言    最近在面试中，除了基础 &  算法 & 项目之外，经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法(当然，这完全不代表你将来的

机器学习与人工智能学习资源导引TopLanguage(https://groups.google.com/group/pongba/) 我经常在 TopLanguage 讨论组上推荐一些书籍，也经常问里面的牛人们搜罗一些有关的资料，人工智能、机器学习、自然语言处理、知识发现（特别地，数据挖掘）、信息检索 这些无疑是 CS 领域最好玩的分支了（也是互相紧密联系的），这里将最近

Step-By-Step TutorialThis tutorial introduces the concept of Q-learning through a simple but comprehensive numerical example.  The example describes an agent which uses unsupervised training to

通过神经网络进行评估棋局的状态，这是一个非常好的策略。因此我们可以进行从这一步进行选择下一步的操作，下那一步棋（搜索最大的下一步棋局状态）。神经网络的权值是通过进化算法得到的。我们有一个关于权值的群组，通过在线和其他棋手进行博弈，之后我们可以选择在一定场次内，胜率比较高的作为适应值。从而通过多少次迭代之后，我们可以得到最优的神经网络的权值。这个属于最优的

转载：http://blog.youkuaiyun.com/zhaoxinfan/article/details/8445569标题：Using neural network to combine measures of word semantic similarity for image annotation.这篇论文是人工智能老师刘峡壁学生作品，正好和上课讲的内容相关，其中用到了神经网络，体现

什么是联想记忆       利用事物间的联系通过联想进行记忆的方法。联想是由当前感知或思考的事物想起有关的另一事物，或者由头脑中想起的一件事物，又引起想到另一件事物。由于客观事物是相互联系的，各种知识也是相互联系的，因而在思维中，联想是一种基本的思维形式，是记忆的一种方法。联想，就是当人脑接受某一剌激时，浮现出与该剌激有关的事物形象的心理过程。一般来说，互相接近的事物、相反的事物、相似的事物之

exploration 是开发未知领域，而exploitation 是利用已知状态。在遗传算法中：全局探索（Exploration）:交叉重组与突变是算法全局探测能力的主要构成要素。局部探测（Exploitation）：对种群个体的选择是算法局部探测能力的主要构成要素。

转载http://www.cnblogs.com/fllubo/archive/2013/03/03/2942003.html一、摘要TSP问题是指给定平面上N个点及每点的坐标，求一条路径，遍历所有的点并回到起点，使这条路径长度最小。TSP问题是一个组合优化问题。该问题可以被证明具有NPC计算复杂性。因此，任何能使该问题的求解得以简化的方法，都将受到高度的评价和关注。遗传算

定向搜索是一种带有带有队列（队列大小固定为k）的A*搜索，运行方式是在队列中存储排名最前k个值。每次都是找最优的进行扩展，然后更新队列。直到找到最优的值。如果不知道A*算法可以参考http://blog.youkuaiyun.com/assiduousknight/article/details/18037359栗子如下：

一. 爬山算法 ( Hill Climbing )         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。         爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点为当前解，爬山算法搜索到A点这个局部最优解就会停止搜

申明：本文非笔者原创，原文转载自：http://www.cnblogs.com/tornadomeet/archive/2012/11/12/2766458.html前言　　最近几周花了点时间学习了下今年暑假龙星计划的机器学习课程，具体的课程资料参考见附录。本课程选讲了写ML中的基本模型，同时还介绍了最近几年比较热门，比较新的算法，另外也将ML理论和实际问题结合

转载：http://blog.youkuaiyun.com/yangliuy/article/details/8296481以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍

转载http://blog.youkuaiyun.com/wangqiuyun/article/details/8918523一、TSP问题TSP问题（Travelling Salesman Problem）即旅行商问题，又译为旅行推销员问题、货郎担问题，是数学领域中著名问题之一。假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回到原来

转载：http://blog.youkuaiyun.com/wangqiuyun/article/details/8878298一、TSP问题TSP问题（Travelling Salesman Problem）即旅行商问题，又译为旅行推销员问题、货郎担问题，是数学领域中著名问题之一。假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回

转载 http://blog.youkuaiyun.com/urecvbnkuhbh_54245df/article/details/5811060极大极小搜索策略一般都是使用在一些博弈类的游戏之中： 这样策略本质上使用的是深度搜索策略，所以一般可以使用递归的方法来实现。在搜索过程中，对本方有利的搜索点上应该取极大值，而对本方不利的搜索点上应该取极小值。极小值和极大值都是相

转载：http://ist.csu.edu.cn/ai/Ai/chapter3/3251.htm让我们来描述一种具有启发成分的估价函数的搜索过程，它可以被设计来用于与或图。h(n)是h*(n)的一个估计,h*(n)则是从节点n到一个终节点集合的一个最佳解图的费用。正如图搜索一样,如果h满足一定的限制，则搜索过程语句是可能得到简化的。　　在我们的讨论中，对h加以单调限制，即对隐含图中从节点n

原文地址: http://blog.youkuaiyun.com/gfaiswl/article/details/47497131.问题定义      TSP问题（旅行商问题）是指旅行家要旅行n个城市，要求各个城市经历且仅经历一次然后回到出发城市，并要求所走的路程最短。      假设现在有四个城市，0,1,2,3，他们之间的代价如图一，可以存成二维表的形式

转载：http://www.bfcat.com/index.php/2012/04/rw_markov/这几天在看一些使用到了随机游走的相关文献，整理一下常用的公式和性质随机游走（random walk）矩阵可以看做是马尔科夫链的一种特例。对于一个图G的邻接矩阵A来说，A中的非零元素描述了图G中每一条边的权重（这里一般要求A的对角线为零）。这个权重描述了节点之间的相似性。如

Transductive Learning：从彼个例到此个例，有点象英美法系，实际案例直接结合过往的判例进行判决。关注具体实践。Inductive Learning：从多个个例归纳出普遍性，再演绎到个例，有点象大陆法系，先对过往的判例归纳总结出法律条文，再应用到实际案例进行判决。从有限的实际样本中，企图归纳出普遍真理，倾向形而上，往往会不由自主地成为教条。在传统的监督学习中，学习器

S3VM和TSVM的不同转载：http://ycool.com/post/6vc4vf7自己总结的一点学习心得，希望了解的人给予补充。TSVM都是比较早的，后来的一般都叫S3VM。提出的人不一样。Vapnik, 1998; Joachims, 1999) under the name Transductive Support Vector Machine (TSVM),

转载http://www.leexiang.com/hidden-markov-model隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时

http://blog.youkuaiyun.com/casularm/article/details/507974遗传算法导论（转载）发信站: BBS 水木清华站 (Tue May 25 23:30:41 2004), 站内Introduction to Genetic Algorithms遗传算法导论by Marek Obitko, student of Cze

转载：http://www.cnblogs.com/jerrylead/archive/2011/05/13/2045309.html [pdf版本]增强学习.pdf     在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应

转载：http://blog.youkuaiyun.com/zhaoxinfan/article/details/8491389信学过算法的童鞋都听说过一个很经典的问题：TSP问题，这个问题是NP问题，无法在多项式时间内进行求解。当问题规模较小时，还可以用穷举的方法进行求解，但是当城市一旦变多，穷举的时间将会指数级增加。就算采用启发式搜索，估计也很难求解。但是这个问题是可以尝试解决的，人工智能

转载http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。  一.进化论知识 　　

最小描述长度( MDL) 原理是 Rissane 在研究通用编码时提出的。其基本原理是对于一组给定的实例数据 D ， 如果要对其进行保存 ，为了节省存储空间， 一般采用某种模型对其进行编码压缩，然后再保存压缩后的数据。同时， 为了以后正确恢复这些实例数据，将所用的模型也保存起来。所以需要保存的数据长度( 比特数) 等于这些实例数据进行编码压缩后的长度加上保存模型所需的数据长度，将该数据长度称为总描

转载：http://blog.youkuaiyun.com/abcjennifer/article/details/8170378在聚类中我们经常用到EM算法（i.e. Estimation - Maximization）进行参数估计, 在该算法中我们通过函数的凹/凸性，在estimation和maximization两步中迭代地进行参数估计，并保证可以算法收敛，达到局部最优解。PS：为了不在

转http://baike.baidu.com/view/401605.htm1948 年，香农提出了“信息熵”(shāng) 的概念，解决了对信息的量化度量问题。　　什么是信息？　　信息现代定义。[2006年,医学信息(杂志)，邓宇等].　　信息是物质、能量、信息及其属性的标示。逆维纳信息定义　　信息是确定性的增加。逆香农信息定义　　信息是事物现象及其属性标识的集合。20

第一章：导论1.1 什么是机器学习，为什么需要机器学习。大数据时代，要求机器能自动分析数据，能从已知的数据中学习一些隐藏的模式，来预测未来的数据，或者执行一些决策。机器学习大体分为两类：预测或者有监督学习：这个方式需要有训练数据库，然后给定输入特征、属性或者协变量，给定输出的信息。如果输出的是类别信息，则称这类问题叫分类问题，或者模式识别问题。如果输出的是连续值，则称这类问

转载：http://baike.meadin.com/view/6865.htm奥卡姆剃刀 　　奥卡姆剃刀（Occam's Razor, Ockham's Razor）又称“奥康的剃刀”。　　奥卡姆剃刀，是由14世纪逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出。奥卡姆（Ockham）在英格兰的萨里郡，那是他出生的地方

1 机器学习元老级人物的观点   学习意味着改变   学习是通过经验提高自己2 学习的定义学习是获取知识，积累经验和发现规则的过程。外在表现为适应环境和自我完美。机器学习的结果包含在两个方面：计算的有效性和高效性。3 为什么要机器学习像大数据的一些事情是人类无法完成的，需要借助机器。4 学习的种类（1）归纳学习（2）类比学习（3）基于假设的学习 解释在h

解释学习的基本原理　　教师往往向学生提供先例，让学生练习，并期望学生在练习后能够发现一般原理。学生必须设法找出先例与练习间的因果关系，并应用先例去处理练习，把工作上升为原理，然后把这些原理存储起来供需要时检索调用。英文的定义是：Uses existing declarative domain knowledge to "explain" individual examples and

本节内容：机器学习算法的评估  Evaluation of ML Algorithms主要有五个方面1  过拟合  Overfitting and generalization2  偏置     Bias3 鲁棒性  Robustness to data4透明性  Transparency5复杂度  Computational Complexity（1）过拟合是由于我们

转载网址http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496155.html最近的一段时间一直在学习半监督学习算法，目前，国内的南京大学周志华老师是这方面的泰斗，写了很多这方面牛的文章，可以参考一下他的主页：http://cs.nju.edu.cn/zhouzh/。在国内的学术界周老师一直是我比较钦佩的人之一。下面贴出来的文章出自周

转载：http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496204.html以往的半监督学习研究几乎都是关注分类问题  ,虽然在监督学习中回归问题的重要性不亚于分类问题,半监督回归却一直缺乏研究。如第二节所述,在半监督回归中由于示例的标记是实值输出,因此聚类假设不再成立,但半监督学习的流形假设仍然是成立的,而且因为回归输出通常具有

转载：http://www.idataskys.com/%E8%81%9A%E7%B1%BB%E5%88%86%E6%9E%90/聚类分析是对一些包含很多属性对象的集合分成相似的类或者簇的这一过程。而簇也是对象的集合，但是这些对象具有高度的相似性，与其他簇中的对象差异较大。但是聚类和分类有一定的区别，聚类是在未知对象所在目标类的情况下进行分类，分类是每个对象已经有了目标类标号，因此聚类

http://www.idataskys.com/%E8%81%9A%E7%B1%BB%E5%88%86%E6%9E%90%E4%B9%8Bk%E5%9D%87%E5%80%BC%E7%AE%97%E6%B3%95/K均值算法是一种基于划分的方法，它以K作为输入参数，将所有N个对象集合划分为N个类别。K均值初始输入：1、类别或者簇的个数K；2、随机选取K个种子点K均值算