todayq的专栏

% prophet Mohammed said [ALLAH will help any one helped his/her brother/sister] PBUH%This code to apply LDA (Linear Discriminant Analysis) % for any information please send to engalaatharwat@hotmail

目录(?)[+]        第一篇：从决策树学习谈到贝叶斯分类算法、EM、HMM                      （Machine Learning & Data Mining交流群：8986884）引言    最近在面试中，除了基础 &  算法 & 项目之外，经常被问到或被要求介绍和描述下自己所

y=[1:3:28];x=log(y);N=size(y,2);itercount=5;c=mean(x);tempx=ones(1,N);tempx=tempx*c;rs=zeros(1,itercount);for it=1:itercount sum1=0; sum2=0; for i=1:N sum1=sum1+(exp(tempx(

% Since TreeBagger uses randomness we will get different results each % time we run this.% This makes sure we get the same results every time we run the code.%rng default % Here we create so

大概太久没更新了，压力就越大了，工作比较忙，人比较懒，写一篇高质量的文章还是比较耗时间的，这样吧，以后就发一些我觉得比较实用的东西吧，就那么一个小片段，这样我也比较有时间，比较有动力，假如你有什么建议可以留言。今天介绍的这个东西RANSAC是前不久接触到的东西，最网上的资料进行总结结合自己的实际应用给大家讲讲我的理解。RANSAC是“RANdom SAmple Consensus（

1.分类器训练2.视觉计算机研究论坛3.The Face Detection Homepage4.Face Recognition Homepage5.OpenCv中文网站6.coursera机器学习图像和视频处理fMRI数据统计分析并行异构编程7.Koding Free SSH VM8.cuda samples9.lwf10.object

今天开始学Pattern Recognition and Machine Learning (PRML)，章节1.2，Probability Theory （下）今天把1.2写完，这一节讲了很多重要的基础内容。1.2.3 贝叶斯概率这一节的上半部分，我们结合一个盒子-水果抽取的问题，从随机可重复事件频率的角度理解了概率，这是经典的一种通过频率来理解概率的角度，接下来我们用贝叶斯角度来理

主成分分析，这种方法可以有效的找出数据中最“主要"的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。我们知道，最简单的主成分分析方法就是PCA了。从线性代数的角度看，PCA的目标就是使用另一组基去重新描述得到的数据空间。希望在这组新的基下，能尽量揭示原有的数据间的关系。这个维度即最重要的“主元"。PCA的目标就是找到这样的“主元”，最大程度的去除冗余和噪音的干扰

人脸检测肤色分割Adaboost算法（分类器训练）特征定位眼睛定位嘴角定位特征点定位（特征点评测）人脸裁剪特征提取LBPLDPGaborWaveletGabor_LBP降维PCARandom Projection相似性度量识别算法SVMAdaboostPCALDA

本文基于python逐步实现Decision Tree(决策树)，分为以下几个步骤：加载数据集熵的计算根据最佳分割feature进行数据分割根据最大信息增益选择最佳分割feature递归构建决策树样本分类关于决策树的理论方面本文几乎不讲，详情请google keywords:“决策树 信息增益  熵”将分别体现于代码。本文只建一个.py文件，所有代码都在这个py里

1. 分类和回归树（CART，classification and regression tree）          基于树的方法的思路：把特征空间划分成一系列的矩形区域，然后在每个区域中拟合一个简单的模型（例如：常量）。下图是决策树（decision tree）的一个简单示意： 下面分别介绍回归树和分类树。1.1 回归树（regression tree）

Fisher 线性分类器由R.A.Fisher在1936年提出，至今都有很大的研究意义，下面介绍Fisher分类器的Fisher准则函数 Fisher准则函数在模式识别的分类算法中，大概可以分为两类，一种是基于贝叶斯理论的分类器，该类型分类器也称为参数判别方法，根据是基于贝叶斯理论的分类器必须根据所提供的样本数据求出先验概率和类概率密度函数的类型和参数；另一种是非参数判别方法，它倾向于

从 SVM的那几张图可以看出来，SVM是一种典型的两类分类器，即它只回答属于正类还是负类的问题。而现实中要解决的问题，往往是多类的问题（少部分例外，例如垃圾邮件过滤，就只需要确定“是”还是“不是”垃圾邮件），比如文本分类，比如数字识别。如何由两类分类器得到多类分类器，就是一个值得研究的问题。还以文本分类为例，现成的方法有很多，其中一种一劳永逸的方法，就是真的一次性考虑所有样本，并求解一

生存？还是毁灭？——哈姆雷特 可分？还是不可分？——支持向量机 之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也简单

接下来要说的东西其实不是松弛变量本身，但由于是为了使用松弛变量才引入的，因此放在这里也算合适，那就是惩罚因子C。回头看一眼引入了松弛变量以后的优化问题：注意其中C的位置，也可以回想一下C所起的作用（表征你有多么重视离群点，C越大越重视，越不想丢掉它们）。这个式子是以前做SVM的人写的，大家也就这么用，但没有任何规定说必须对所有的松弛变量都使用同一个惩罚因子，

从最一般的定义上说，一个求最小值的问题就是一个优化问题（也叫寻优问题，更文绉绉的叫法是规划——Programming），它同样由两部分组成，目标函数和约束条件，可以用下面的式子表示：（式1）约束条件用函数c来表示，就是constrain的意思啦。你可以看出一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。关于这个式子可以这样来理解：式中的x是自变量，但不限定它的维

上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：间隔：δ=y(wx+b)=|g(x)| 几何间隔：可以看出δ=||w||δ几何。注意到几何间隔与||w||是成反比的，因此最大化几

红色的方形的点为0类的原始点、蓝色的方形点为1类的原始点，经过原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了，这个数据只是随便画的，如果在高维的情况下，看起来会更好一点。下面我来推导一下二分类LDA问题的公式：     假设用来区分二分类的直线（投影函数)为：    LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好

一、特征提取Feature Extraction：SIFT [1] [Demo program][SIFT Library] [VLFeat]PCA-SIFT [2] [Project]Affine-SIFT [3] [Project]SURF [4] [OpenSURF] [Matlab Wrapper]Affine Covariant Fea

让我再一次比较完整的重复一下我们要解决的问题：我们有属于两个类别的样本点（并不限定这些点在二维空间中）若干，如图圆形的样本点定为正样本（连带着，我们可以把正样本所属的类叫做正类），方形的点定为负例。我们想求得这样一个线性函数（在n维空间中的线性函数）： g(x)=wx+b 使得所有属于正类的点x+代入以后有g(x+)≥1，而所有属于负类的点x-代入后有g(x-)≤-1（之所

关于ICF（Integral channel features）以及softcascade，主要是从下面四篇文章入手的，第一篇文章是利用ICF+softcascade进行人头检测的；第二篇文章就是ICF的出处；第三篇文章试讲如何利用ICF+softcascade并且将其改进使得保持准确率的前提下能够快速的进行行人检测；第四篇文章是针对改进ICF+softcascade的检测准确率的。1、S

用于滑动窗口后处理：优先选择得分高的候选位置，排除与已选窗口重叠的窗口求两个矩形框相交：分别求最大左上角点和最小右下角点，后者大于前者，两点确定的矩形框即为相交部分。function top = nms_face(boxes,overlap)% Non-maximum suppression.% Greedily select high-scoring detections a

ROC曲线

一，入门篇1. Andrew Davison的课程： http://www.doc.ic.ac.uk/~ajd/Robotics/index.html    AD在在week 8里面推荐了slam的两个入门 Tutorial 1  和Tutorial 22. Tutorial的两篇文章文笔灰常秀丽，但是不操作还是云里雾里：   所以这里有

转自：http://www.cnblogs.com/u2usoft/articles/809011.html1． 什么是卡尔曼滤波（What is the Kalman Filter?） 在学习卡尔曼滤波之前，首先看看为什么叫“卡尔曼”。跟其他著名的理论（例如傅立叶变换，泰勒级数等等）一样，卡尔曼也是一个人的名字，而跟他们不同的是，他是个现代人！ 卡尔曼全名Rudolf E

扩展卡尔曼滤波（Extended Kalman Filter ）与KF的最大的不同，是允许系统模型和测量模型非线性的存在，它的实现较为简单，参照Wikipedia，我把代码贴出来，方便学习交流。采用一个简单的3阶非线性模型，仿真结果如下图：源代码：EKF_Example:[plain] view plaincopy

#include#includeusing namespace std;void newton(int n,double x[],double y[],double eps);double fn(int n,double x[],double y[]);const double PI = 3.14159265358979323846;int main(){ int i,n=3;

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。一 颜色特征（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。（二）常用的特征提取与匹配方法颜色直方图其优点在于

1.特征提取SurfFeatureDetector

（一）SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，

申明：本文为笔者翻阅英文文献后翻译、整理所得，文中所提方法并非笔者原创。如果你想了解更多的细节，更好的把握作者的本意，建议阅读作者的原文。Pedestrian detection at 100 frames per second, Rodrigo Benenson, Markus Matias, CVPR2012这篇文章的主要贡献有两点：（1）提出一种无

分类： 图形图像导读《Learning OpenCV》一书当中介绍的第二种背景建模方法是codebook。直接通过书本来理解codebook算法有点困难，可以按照下面的顺序来理解codebook算法，首先看看百度百科上对这个算法的基本原理的阐述，我认为百度百科上的描述已经比较直观，但当中有很多细节的东西还需要看具体的代码，所以可以通过细读下面转载的代码来理解codebook算法

申明：本文非笔者原创，原文转载自：http://www.cnblogs.com/ronny/archive/2012/04/12/2444053.html最近一直在做前景检测方面的研究，刚开始主要是做一些工程性的应用，为了解决工程方面的问题，下了不少功夫，也看了不少最近国内外的文章。一直想做个总结，拖着拖着，终究却写成这篇极不成功的总结。      背景建模或前景检测的

目录(?)[+]目录(?)[+]1、显著目标检测介绍显著性检测最近几年成了研究热点，从计算机视觉三大会议（ICCV, CVPR, ECCV）上的文章数量就可以看出，大概每届会议都有10来篇的样子，一个这么小的topic，10来篇数量已经很多了。如果你看一看这些文章就会发现，显著目标检测的占了大部分，眼动点预测的很少，大概就一两篇。

1.Ali Borji, Laurent Itti, Exploiting Local and Global Patch Rarities for Saliency Detection, CVPR20121) 系统框架： 2) 算法思路：①　图像表示：本文通过1500张图像中，在各通道提取出的8*8的patch，学到了一个自然图像的字典。使用这个字典以及一系列的

图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention）--计算机视觉专题2分类： 计算机视觉2013-03-10 22:36 6185人阅读 评论(11) 收藏 举报Saliency detectionVisual Attention图像/视觉显著性检测技术发展情况梳理(Saliency Detec

1.Mingming Cheng,Global Contrast based Salient Region Detection,CVPR20111) HC：基于直方图对比度的方法，每一个像素的显著性值是由它与图像中所有其他像素的颜色差异来确定，得到全分辨率显著性图像；2) RC：基于局部对比度的方法，先将图像分割成小区域，采用的分割方法是基于图的分割，基本分割思想是将每个像素点

图像预处理数字图像中的几种典型噪声有：高斯噪声来源于电子电路噪声和低照明度或高温带来的传感器噪声；椒盐噪声类似于随机分布在图像上的胡椒和盐粉微粒，主要由图像切割引起或变换域引起的误差；加性噪声是图像在传输中引进的信道噪声。一般来说，引入的都是加性随机噪声，可以采用均值滤波、中值滤波、高斯滤波等方法去除噪声，提高信噪比。均值滤波在噪声分布较平均，且峰值不是很高的情况下能够得到较好的应用；中值

作者讲解视频： http://www.youtube.com/watch?v=_J_clwqQ4gImatlab代码实现:  http://people.cs.uchicago.edu/~rbg/latent/开源C代码实现: https://github.com/liuliu/ccv    [有错误，慎用！代码质量一般，coding style较差]=

在上篇博客特征点检测学习_1(sift算法) 中简单介绍了经典的sift算法，sift算法比较稳定，检测到的特征点也比较多，其最大的确定是计算复杂度较高。后面有不少学者对其进行了改进，其中比较出名的就是本文要介绍的surf算法，surf的中文意思为快速鲁棒特征。本文不是专门介绍surf所有理论（最好的理论是作者的论文）的，只是对surf算法进行了下整理，方便以后查阅。　　网上有些文章对surf