计算机视觉、机器学习朝拜者

继林达华在港科大那篇读书笔记之后的第二篇指导文章,。。，几个月前就出来了，现在贴出来为后续博文做个提纲也不错。概率模型与计算机视觉林达华美国麻省理工学院（MIT）博士上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project : “link a camera to a compu

Adaboost也是一种原理简单，但很实用的有监督机器学习算法，它是daptive boosting的简称。说到boosting算法，就不得提一提bagging算法，他们两个都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）,类似于投资，“不把鸡蛋放在一个篮子”，虽然每个弱分类器分类的不那么准确，但是如果把多个弱分类器组合起来可以得到相当不错的结果，另外要

接下来就要说下无监督机器学习方法，所谓无监督前面也说过，就是没有标签的情况，对样本数据进行聚类分析、关联性分析等。主要包括K均值聚类（K-means clustering）和关联分析，这两大类都可以说的很简单也可以说的很复杂，学术的东西本身就一直在更新着。比如K均值聚类可以扩展一下形成层次聚类（Hierarchical Clustering）；也可以进入概率分布的空间进行聚类，前段时间很火的LDA

前一节的回归是一种全局回归模型，它设定了一个模型，不管是线性还是非线性的模型，然后拟合数据得到参数，现实中会有些数据很复杂，肉眼几乎看不出符合那种模型，因此构建全局的模型就有点不合适。这节介绍的树回归就是为了解决这类问题，它通过构建决策节点把数据数据切分成区域，然后局部区域进行回归拟合。先来看看分类回归树吧（CART:Classification And Regression Trees）,这个模

《机器学习实战》的最后的两个算法对我来说有点陌生，但学过后感觉蛮好玩，了解了一般的商品数据关联分析和搜索引擎智能提示的工作原理。先来看看关联分析（association analysis）吧，它又称关联规则学习（association rule learning）,它的主要工作就是快速找到经常在一起的频繁项，比如著名的“啤酒”和“尿布”。试想一下，给我们一堆交易数据，每次的交易数据中有不同的商品，

按照《机器学习实战》的主线，结束有监督学习中关于分类的机器学习方法，进入回归部分。所谓回归就是数据进行曲线拟合，回归一般用来做预测，涵盖线性回归（经典最小二乘法）、局部加权线性回归、岭回归和逐步线性回归。先来看下线性回归，即经典最小二乘法，说到最小二乘法就不得说下线性代数，因为一般说线性回归只通过计算一个公式就可以得到答案，如（公式一）所示：（公式一）       其中X是表示

神经网络又火了，因为深度学习火了，所以必须增加个传统神经网络的介绍,尤其是back propagation算法。很简单，俺也就不舞文弄墨的说复杂咯，神经网络模型如（图一）所示：（图一）         （图一）中的神经网络模型是由多个感知器（perceptron）分几层组合而成，所谓感知器就是单层的神经网络（准确的说应该不叫神经网络咯），它只有一个输出节点，如（图二）所示：

04、概率图模型应用实例        最近一篇文章《DeformableModel Fitting by Regularized Landmark Mean-Shift》中的人脸点检测算法在速度和精度折中上达到了一个相对不错的水平，这篇技术报告就来阐述下这个算法的工作原理以及相关的铺垫算法。再说这篇文章之前，先说下传统的基于CLM（Constrained local model）人脸点检测算

03 图模型推理算法         这节了解一下概率图模型的推理算法（Inference algorithm），也就是如何求边缘概率（marginalization probability）。推理算法分两大类，第一类是准确推理（Exactinference）,第二类就是近似推理（Approximate Inference）。准确推理就是通过把分解的式子中的不相干的变量积分掉（离散的就是求

概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即

电影《无耻混蛋》里有一幕游戏，在德军小酒馆里有几个人在玩20问题游戏，游戏规则是一个设迷者在纸牌中抽出一个目标（可以是人，也可以是物），而猜谜者可以提问题，设迷者只能回答是或者不是，在几个问题（最多二十个问题）之后，猜谜者通过逐步缩小范围就准确的找到了答案。这就类似于决策树的工作原理。（图一）是一个判断邮件类别的工作方式，可以看出判别方法很简单，基本都是阈值判断，关键是如何构建决策树，也就是如何训

翻开Jordan和Wainwright著作的书，正文开始（第二章）就说概率图模型的核心就是：分解。的确是这样的，对于复杂的概率图模型，要在复杂交织的变量中求取某个变量的边缘概率，常规的做法就是套用贝叶斯公式，积分掉其他不想干的变量，假设每个变量的取值状态为N，如果有M个变量，那么一个图模型的配置空间就有M^N，指数增长的哦，就这个配置空间已经让我们吃不消了，不可以在多项式时间内计算完成，求边缘概率

几种常见的神经网络激活函数cheat sheet。

由于最后

趁着服务器在跑程序的空闲时间，花了几个小时写了个工业检测程序（matlab版本），可以用于下图所示使用的情形，也可以用于车牌识别，过年缺钱了，挂出来卖。。。可以定制。效果如下图所示，红色框框是检测的目标，并且识别出数字和字母，速度很快（没有用深度学习），一副3648×2376的图从检测到识别只需要100毫秒左右，目前是初级版本，有一位老板打算买，正利用业余时间增强功能。

基于形变部件模型（Deformable Part Models）的目标检测       上节说了基于cascade的目标检测，cascade的级联思想可以快速抛弃没有目标的平滑窗（sliding window）,因而大大提高了检测效率，但也不是没缺点，缺点就是它仅仅是个很弱的特征，用它做分类的检测器也是弱分类器，仅仅比随机猜的要好一些，它的精度靠的是多个弱分类器来实行一票否决式推举

为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），需要把他们转成数学语言，因为数学语言作为一种严谨的语言，可以利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，因为人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基可以描述他们，同类型的处理方式也有慢特征分析(slow

这几天暂停下稀疏编码的后续博文，因为一直在想一个问题，大脑学习是否是凸的，如果是凸的，一个班的孩子或者一个学习小组同时学习一门课后，水平应该差不多，但这是与现实是矛盾的，是每个人的惩罚不一样？还是每个人的模型不一样？导致模型变化的因素是皮层网络结构发生了变化了？那么是什么导致网络结构发生了变化，考虑到上节（稀疏编码的前生今世（二））中提到：活跃细胞间的网络连接增强，“好孩子”一本书看的多了，自然就

结构决定功能和协同处理：鲁棒有限制玻尔兹曼机(RoBM）     上一篇博文中提到，GRBM训练样本越多越好，样本多蕴含的分布更具有一般性，这对其他模型也适用。但是实际样本数据中往往有大量的噪声，这或多或少的影响了GRBM的性能，工业界一般都设有清洗数据的岗位，用人脑去除噪声数据。试想：人脑为什么具有如此强大的抗噪和容错能力？其实生命科学中有一句经典的总结：结构决定功能。不同的结构

今天就来讨论下deep learning怎么来处理real valued data。对于图像来说，二值图像毕竟是少数，更多的还是实值图像。对于这样的情况，RBM已经无法很好的处理它们，因此需要改进它，对于了解计算机视觉的人而言，想必高斯混合背景模型大家已不陌生，高斯混合模型可以很好的对实值图像建模，OpenCV中早就用高斯混合背景模型来分割物体。接下来要引出的高斯有限制玻尔兹曼机（Gaussian

稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是

下面贴出RBM C++版本的代码，一些大牛写的，结合上篇博文来加深大家对RBM理论的理解。。。RBM类定义声明：class RBM {public: int N; int n_visible; int n_hidden; double **W; double *hbias; double *vbias; RBM(int, int, int, do

稀疏编码(sparse coding)和低秩矩阵(low rank)的区别       上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collabora

贝叶斯决策一直很有争议，今年是贝叶斯250周年，历经沉浮，今天它的应用又开始逐渐活跃，有兴趣的可以看看斯坦福Brad Efron大师对其的反思，两篇文章：“Bayes'Theorem in the 21st Century”和“A250-YEAR ARGUMENT:BELIEF, BEHAVIOR, AND THE BOOTSTRAP”。俺就不参合这事了，下面来看看朴素贝叶斯分类器。有时我

基于Cascade分类器的目标检测       从今天开始进入基于机器学习的目标检测，前几节虽然也接触了一些机器学习的方法，但它主要是做辅助工作，机器学习的方法和非机器学习的方法结合在一起使用，说到这想起来前几天看到一位博士师兄发的笑话，说的是百度实验室：      Theory is when you know everthing but nothing works.

机器学习分两大类，有监督学习(supervised learning)和无监督学习(unsupervised learning)。有监督学习又可分两类：分类（classification.）和回归（regression），分类的任务就是把一个样本划为某个已知类别，每个样本的类别信息在训练时需要给定，比如人脸识别、行为识别、目标检测等都属于分类。回归的任务则是预测一个数值，比如给定房屋市场的数据（面

从这节算是开始进入“正规”的机器学习了吧，之所以“正规”因为它开始要建立代价函数（cost function），接着优化价值函数求出权重，然后测试验证。这整套的流程是机器学习必经环节。今天要学习的话题是逻辑回归，逻辑回归也是一种有监督学习方法（supervised machine learning）。逻辑回归一般用来做预测，也可以用来做分类，预测是某个类别^.^！线性回归相比大家都不陌生了，y=k

考虑到大家有可能对深度学习的识别有点模糊，因此决定写一个短博客，简单介绍下如何识别，结合本系列的第一篇博文提到的深度学习之所以叫深度，其中之一的原因是多层RBM模仿了人脑多层神经元对输入数据进行层层预处理(值得一提的是并不是每层都是RBM，DBN就是个例外），即深层次的数据拟合，多个RBM连接起来构成DBM（deep boltzmann machines)，每层RBM的节点数自己指定，这需要一些经

经过三年的狂刷理论，觉得是时候停下来做些有用的东西了，因此决定开博把他们写下来，一是为了整理学过的理论，二是监督自己并和大家分享。先从DeepLearning谈起吧，因为这个有一定的实用性（大家口头传的“和钱靠的很近”)，国内各个大牛也都谈了不少，我尽量从其他方面解释一下。        DeepLearning算是多伦多大学Geoffery hinton教授第二春吧，第一春就是传统神经网络，

上节基本完成了SVM的理论推倒，寻找最大化间隔的目标最终转换成求解拉格朗日对偶变量alpha的求解问题，求出了alpha即可求解出SVM的权重W，有了权重也就有了最大间隔距离，但是其实上节我们有个假设：就是训练集是线性可分的，这样求出的alpha在[0,infinite]。但是如果数据不是线性可分的呢？此时我们就要允许部分的样本可以越过分类器，这样优化的目标函数就可以不变，只要引入松弛变量即可，它

做机器学习的一定对支持向量机（support vector machine-SVM）颇为熟悉，因为在深度学习出现之前，SVM一直霸占着机器学习老大哥的位子。他的理论很优美，各种变种改进版本也很多，比如latent-SVM, structural-SVM等。先来看看SVM的理论，在（图一）中A图表示有两类的数据集，图B,C,D都提供了一个线性分类器来对数据进行分类？但是哪个效果好一些？

概率图模型中极家族函数的引入               回顾概率图模型03中的内容，我们用联合树算法进行消息传递，本质是在求解某个变量的分布或者条件分布，求解一个分布不单纯局限在联合树算法上，还有其他算法，比如均值场。这些图模型中的变分推理方法都有一个统一的理论框架，都是依靠凸分析和极家族函数来支撑起来的，各种推理方法的本质其实都是在极家族函数的均值参数(Mean Parameters)和自