计算机视觉、机器学习朝拜者

继林达华在港科大那篇读书笔记之后的第二篇指导文章,。。，几个月前就出来了，现在贴出来为后续博文做个提纲也不错。概率模型与计算机视觉林达华美国麻省理工学院（MIT）博士上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project : “link a camera to a compu

概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即

03 图模型推理算法         这节了解一下概率图模型的推理算法（Inference algorithm），也就是如何求边缘概率（marginalization probability）。推理算法分两大类，第一类是准确推理（Exactinference）,第二类就是近似推理（Approximate Inference）。准确推理就是通过把分解的式子中的不相干的变量积分掉（离散的就是求

04、概率图模型应用实例        最近一篇文章《DeformableModel Fitting by Regularized Landmark Mean-Shift》中的人脸点检测算法在速度和精度折中上达到了一个相对不错的水平，这篇技术报告就来阐述下这个算法的工作原理以及相关的铺垫算法。再说这篇文章之前，先说下传统的基于CLM（Constrained local model）人脸点检测算

基于形变部件模型（Deformable Part Models）的目标检测       上节说了基于cascade的目标检测，cascade的级联思想可以快速抛弃没有目标的平滑窗（sliding window）,因而大大提高了检测效率，但也不是没缺点，缺点就是它仅仅是个很弱的特征，用它做分类的检测器也是弱分类器，仅仅比随机猜的要好一些，它的精度靠的是多个弱分类器来实行一票否决式推举

基于ASM的目标检测       ASM(Active Shape Model：主动形状模型)是Tim Cootes于1995年提出来的，其实是在1992年提交，1994年被接受，1995被发表的。ASM方法是通过寻找一系列匹配点来检测形状的方法，和单纯的基于shift（或者surf）特征点匹配的方法不一样，后者是通过互相独立的shift（或者surf）特征点匹配来做目标检测，当模版图像和

为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），需要把他们转成数学语言，因为数学语言作为一种严谨的语言，可以利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，因为人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基可以描述他们，同类型的处理方式也有慢特征分析(slow

基于Cascade分类器的目标检测       从今天开始进入基于机器学习的目标检测，前几节虽然也接触了一些机器学习的方法，但它主要是做辅助工作，机器学习的方法和非机器学习的方法结合在一起使用，说到这想起来前几天看到一位博士师兄发的笑话，说的是百度实验室：      Theory is when you know everthing but nothing works.

基于霍夫森林的目标检测       上节说了霍夫变换（HT）和广义霍夫变换（GHT），今天就接着广义霍夫变换说下去，在广义霍夫变换中，每个投票元素（比如边缘像素中的点）在霍夫空间中累加投票的权重是相等的，每个元素投票的权重互不影响，这其实是假设了图像空间中的每个像素点是独立的，但现实是这样的吗？答案:不是，尤其是牵扯到我们今天的基于部件的投票时，这种投票元素互相独立的观点更站不脚，

基于霍夫变换和广义霍夫变换的目标检测        上节讨论了基于阈值处理的目标检测，今天就来讨论下基于霍夫投票的目标检测，霍夫投票打算分成两个小节，第一个小节简单的说下霍夫变换和广义霍夫变换（generalized hough transform），他们投票的权重都是相等的，下一节讨论概率空间中的霍夫投票，顾名思义他们的投票权重是不确定的。      先来看下霍夫变换（hou

稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是

说到高维度数据的可视化，如果高于三维的话，对人类很抽象，人生活在三维世界中（至少表象和内蕴几何的观点上说是），照相机则是把三维数据投影到二维图像上，二维图像和三维图像都很直观，但对于高于三维数据的话，想画出来就不容易了，但是试想一下，既然3D世界点投影到2D图像的单应矩阵是2*3（齐次的是3*4）的矩阵，而且单应矩阵可以通过图像点和3D世界点之间的线性关系求出来，那为什么没有高维度照相机？把高维的

结构决定功能和协同处理：鲁棒有限制玻尔兹曼机(RoBM）     上一篇博文中提到，GRBM训练样本越多越好，样本多蕴含的分布更具有一般性，这对其他模型也适用。但是实际样本数据中往往有大量的噪声，这或多或少的影响了GRBM的性能，工业界一般都设有清洗数据的岗位，用人脑去除噪声数据。试想：人脑为什么具有如此强大的抗噪和容错能力？其实生命科学中有一句经典的总结：结构决定功能。不同的结构

稀疏编码(sparse coding)和低秩矩阵(low rank)的区别       上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collabora

趁着服务器在跑程序的空闲时间，花了几个小时写了个工业检测程序（matlab版本），可以用于下图所示使用的情形，也可以用于车牌识别，过年缺钱了，挂出来卖。。。可以定制。效果如下图所示，红色框框是检测的目标，并且识别出数字和字母，速度很快（没有用深度学习），一副3648×2376的图从检测到识别只需要100毫秒左右，目前是初级版本，有一位老板打算买，正利用业余时间增强功能。