最近在看Ng的深度学习教程，看到self-taught learning的时候，对一些概念感到很陌生。作为还清技术债的一个环节，用半个下午的时间简单搜了下几个名词，以后如果会用到的话再深入去看。        监督学习在前一篇博客中讨论过了，这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提，同时对训练样本的要求特别严格，要求训练样本与测试样本来自于同一分布。要是满足不了

转：关于这些概念看过很多次了，但一直都记不住，索性用笔记形式记下来备查吧。1. 熵Entropy关于熵的基本概念就不说了，可以认为是用来描述随机变量的不确定性，也可以说是用来描述随机变量平均信息量（信息量用编码长度表示，熵即为编码长度的期望形式）。公式如下：H(X)=−∑x∈Xp(x)logap(x)当a=2时，即熵的单位为比特。可以看到，当有必然事件p

转上面《MaxEnt: 最大熵模型(Maximum Entropy Models)(一)》其实就是讲了下熵，下面我们继续最大熵模型(Maximum Entropy Models)。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型--------------------------------------------------------------------------- 前言

1.首先，我们用surf算法生成图像库中每幅图的特征点及描述符。2.再用k-means算法对图像库中的特征点进行训练，生成类心。3.生成每幅图像的BOF，具体方法为：判断图像的每个特征点与哪个类心最近，最近则放入该类心，最后将生成一列频数表，即初步的无权BOF。4.通过tf-idf对频数表加上权重，生成最终的bof。（因为每个类心对图像的影响不同。比如超市里条形码中的第一位

经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1

转刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下，补充一下自己的大脑，方便面试什么的能够应付一些问题。多读书，多思考，肚子里才有东西。==========什么是熵？咱们这里只看信息以及自然界的熵吧。《Big Bang Theory》中Sheldon也经常把这个熵挂在嘴边。在咱们的生活中，你打碎了

前言：最近由于工作的关系，接触到了很多篇以前都没有听说过的经典文章，在感叹这些文章伟大的同时，也顿感自己视野的狭小。  想在网上找找计算机视觉界的经典文章汇总，一直没有找到。失望之余，我决定自己总结一篇，希望对 CV 领域的童鞋们有所帮助。由于自己的视野比较狭窄，肯定也有很多疏漏，权当抛砖引玉了，如果你觉得哪篇文章是非常经典的，也可以把相关信息连带你的昵称发给我，我好补上。我的信箱 xdyang.

DoG (Difference of Gaussian)是灰度图像增强和角点检测的方法，其做法较简单，证明较复杂，具体讲解如下:Difference of Gaussian(DOG)是高斯函数的差分。我们已经知道可以通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，即去噪过程，这里的Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。那么di

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型---------------------------------------------------------------------------        

稀疏编码系列：（一）----Spatial Pyramid 小结（二）----图像的稀疏表示——ScSPM和LLC的总结（三）----理解sparse coding（四）----稀疏模型与结构性稀疏模型--------------------------------------------------------------------------- 前言

转载：http://argcv.com/articles/1036.c自然语言处理(ML),机器学习(NLP),信息检索(IR)等领域,评估(evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(accuracy),精确率(Precision),召回率(Recall)和F1-Measure。本文将简单介绍其中几个概念。中文中这几个评价指标翻译各有不同，所以一般

信息检索概述信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] … w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D’。对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布

Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat

Ransac算法项目主页https://github.com/libing64/RansacLine1、算法简介随机抽样一致算法(RANdom SAmple Consensus,RANSAC)。它是一种迭代的方法，用来在一组包含离群的被观测数据中估算出数学模型的参数。 RANSAC是一个非确定性算法，在某种意义上说，它会产生一个在一定概率下合理的结果，其允许使用更多次的迭代

文献： Object Detection using a Max-Margin Hough Transform, CVPR 2009.用最大化margin的方法学习出参与投票的部分的权重, 用优化工具CVX求解。流程图如下： 文献：  Recognition using Regions, CVPR 09.内容简介：提出了一个用区域来做物体检测、分割和分类的统一框架。具体地：

转载：http://blog.163.com/huai_jing@126/blog/static/1718619832011101463943869/文献1：Combined Object Categorization and Segmentation with an Implicit Shape Model，ECCV 04 Workshop。内容简介：用隐形状模型（Impli

对数极坐标几何（Log-Polar Geometry）是为了仿真生物视网膜，比如人眼中央小凹，的成像原理而产生的，它具有数据压缩的特性。对 数极坐标系是一个二维坐标系，一个点的坐标由一个实数对 (ρ，θ) 决定，ρ 是该点到某一特定点（原点origin）的距离的对数，θ是过该点与原点的直线和某个参考直线（如x轴）所张的角度。一个类似于人眼的传感器阵列如左图所示，它由64层同心圆

转载：http://www.cnblogs.com/liqizhou/archive/2012/05/12/2497220.html记得刚读研究生的时候，学习的第一个算法就是meanshift算法，所以一直记忆犹新，今天和大家分享一下Meanshift算法，如有错误，请在线交流。Mean Shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以

转载：http://www.cnblogs.com/xpvincent/archive/2013/03/15/2961448.html最近用到插值算法，使用三次样条插值时仿真速度太慢，于是采用算法简单的线性插值。本篇主要介绍一下双线性插值的实现方法。1. 线性插值已知坐标 (x0, y0) 与 (x1, y1)，要得到 [x0, x1] 区间内某一位置 x 在直线上

申明：本文非笔者原创，原文转载自：http://www.cnblogs.com/tornadomeet/archive/2012/11/12/2766458.html前言　　最近几周花了点时间学习了下今年暑假龙星计划的机器学习课程，具体的课程资料参考见附录。本课程选讲了写ML中的基本模型，同时还介绍了最近几年比较热门，比较新的算法，另外也将ML理论和实际问题结合

转载：http://blog.youkuaiyun.com/yangliuy/article/details/8296481以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍

第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM                      （Machine Learning & Data Mining交流群：8986884）引言    最近在面试中，除了基础 &  算法 & 项目之外，经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法(当然，这完全不代表你将来的

通过神经网络进行评估棋局的状态，这是一个非常好的策略。因此我们可以进行从这一步进行选择下一步的操作，下那一步棋（搜索最大的下一步棋局状态）。神经网络的权值是通过进化算法得到的。我们有一个关于权值的群组，通过在线和其他棋手进行博弈，之后我们可以选择在一定场次内，胜率比较高的作为适应值。从而通过多少次迭代之后，我们可以得到最优的神经网络的权值。这个属于最优的

Step-By-Step TutorialThis tutorial introduces the concept of Q-learning through a simple but comprehensive numerical example.  The example describes an agent which uses unsupervised training to

转载：http://blog.youkuaiyun.com/zhaoxinfan/article/details/8445569标题：Using neural network to combine measures of word semantic similarity for image annotation.这篇论文是人工智能老师刘峡壁学生作品，正好和上课讲的内容相关，其中用到了神经网络，体现

什么是联想记忆       利用事物间的联系通过联想进行记忆的方法。联想是由当前感知或思考的事物想起有关的另一事物，或者由头脑中想起的一件事物，又引起想到另一件事物。由于客观事物是相互联系的，各种知识也是相互联系的，因而在思维中，联想是一种基本的思维形式，是记忆的一种方法。联想，就是当人脑接受某一剌激时，浮现出与该剌激有关的事物形象的心理过程。一般来说，互相接近的事物、相反的事物、相似的事物之

转载：http://www.cnblogs.com/jerrylead/archive/2011/05/13/2045309.html [pdf版本]增强学习.pdf     在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应

李航：http://research.microsoft.com/en-us/people/hangli/，是MSRA Web Search and Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性等问题的研究。曾在人大听过一场他的讲座，对实际应用的问题抽象，转化和解决能力值得学习。周志华

转载：http://www.cnblogs.com/tornadomeet/p/3300132.html没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优

机器学习与人工智能学习资源导引TopLanguage(https://groups.google.com/group/pongba/) 我经常在 TopLanguage 讨论组上推荐一些书籍，也经常问里面的牛人们搜罗一些有关的资料，人工智能、机器学习、自然语言处理、知识发现（特别地，数据挖掘）、信息检索 这些无疑是 CS 领域最好玩的分支了（也是互相紧密联系的），这里将最近

转载：http://www.bfcat.com/index.php/2012/04/rw_markov/这几天在看一些使用到了随机游走的相关文献，整理一下常用的公式和性质随机游走（random walk）矩阵可以看做是马尔科夫链的一种特例。对于一个图G的邻接矩阵A来说，A中的非零元素描述了图G中每一条边的权重（这里一般要求A的对角线为零）。这个权重描述了节点之间的相似性。如

Transductive Learning：从彼个例到此个例，有点象英美法系，实际案例直接结合过往的判例进行判决。关注具体实践。Inductive Learning：从多个个例归纳出普遍性，再演绎到个例，有点象大陆法系，先对过往的判例归纳总结出法律条文，再应用到实际案例进行判决。从有限的实际样本中，企图归纳出普遍真理，倾向形而上，往往会不由自主地成为教条。在传统的监督学习中，学习器

S3VM和TSVM的不同转载：http://ycool.com/post/6vc4vf7自己总结的一点学习心得，希望了解的人给予补充。TSVM都是比较早的，后来的一般都叫S3VM。提出的人不一样。Vapnik, 1998; Joachims, 1999) under the name Transductive Support Vector Machine (TSVM),

转载http://www.leexiang.com/hidden-markov-model隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时

一. 爬山算法 ( Hill Climbing )         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。         爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点为当前解，爬山算法搜索到A点这个局部最优解就会停止搜

转载：http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个

定向搜索是一种带有带有队列（队列大小固定为k）的A*搜索，运行方式是在队列中存储排名最前k个值。每次都是找最优的进行扩展，然后更新队列。直到找到最优的值。如果不知道A*算法可以参考http://blog.youkuaiyun.com/assiduousknight/article/details/18037359栗子如下：

转载:http://blog.youkuaiyun.com/highkit/article/category/1092596最佳优先搜索时宽度优先搜索的扩展，基本思想是将节点表按据目标的距离进行排序，再以节点的估计距离为标准选择待扩展的节点。        算法步骤：         1. 用N表示已经排序的初始结点表(从小到大)         2. 如果N为空集，则退出并给出失败信

自己找的比较好的博客，只是目前搜索到的，以后会接着补充。1    最好的入门资料是斯坦福大学的公开课。2     http://www.cnblogs.com/tornadomeet/                                tornadomeet的博客3    http://blog.youkuaiyun.com/stdcoutzyx