yyyljw的博客

1. Adaboost方法的引入1.1 Boosting方法的提出和发展        在了解Adaboost方法之前，先了解一下Boosting方法。        回答一个是与否的问题，随机猜测可以获得50%的正确率。如果一种方法能获得比随机猜测稍微高一点的正确率，则就可以称该得到这个方法的过程为弱学习；如果一个方法可以显著提高猜测的正确率，则称获取该方法的过程为强学习

主要内容：1、k近邻2、python实现 1、什么是k近邻（KNN）在入门-1中，简单地实现了基于用户协同过滤的最近邻算法，所谓最近邻，就是找到距离最近或最相似的用户，将他的物品推荐出来。而这里，k近邻（K Nearest Neighbor）的意思就是，找出最近或最相似的k个用户，将他们的评分（相似度权重求和）最高的几个物品进行推荐。2、python实现代码中有两个

从 SVM的那几张图可以看出来，SVM是一种典型的两类分类器，即它只回答属于正类还是负类的问题。而现实中要解决的问题，往往是多类的问题（少部分例外，例如垃圾邮件过滤，就只需要确定“是”还是“不是”垃圾邮件），比如文本分类，比如数字识别。如何由两类分类器得到多类分类器，就是一个值得研究的问题。还以文本分类为例，现成的方法有很多，其中一种一劳永逸的方法，就是真的一次性考虑所有样本，并求解一个多

生存？还是毁灭？——哈姆雷特可分？还是不可分？——支持向量机之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也

主要内容：1、距离度量2、皮尔逊关系系数3、cosine相似度4、方法的选择 1、距离度量距离度量是最简单的衡量相似度的方法，公式如下：当r=1时，为曼哈顿距离（manhattan distance）；当r=2时，为欧几里得距离（Euclidean distance）；优点：简单缺点：当数据某些属性或特征缺失时，该度量结果不准确代码：

主要内容：1、什么是基于用户的协同过滤2、python实现 1、什么是基于用户协同过滤：协同过滤：Collaborative Filtering，一般用于推荐系统，如京东，亚马逊等电商网站上的“购买该物品的用户还喜欢/购买”之类的栏目都是根据协同过滤推荐出来的。基于用户的协同过滤：User-based CF，通过不同用户对item（物品）的评分来评测用户之间的相似性，基于用

分享两篇来自科学松鼠会的科普性文章：1、压缩感知与单像素相机(陶哲轩,Terence Tao)原文链接：http://songshuhui.net/archives/110062、填补空白：用数学方法将低分辨率图像变成高分辨率图像(Jordan Ellenberg)原文链接：http://songshuhui.net/archives/38054英文名：Fill in the

1、随机高斯测量矩阵function [ Phi ] = GaussMtx( M,N )%GaussMtx Summary of this function goes here% Generate Bernoulli matrix % M -- RowNumber% N -- ColumnNumber% Phi -- The Gauss matrix%%

1、动机与背景数字化革命：随着数字化技术的快速发展，电话、手机、相机、电视等数字化产品如雨后春笋般涌现市场，无时无刻不在影响着我们的生活，这是一个数字化的时代。数码传感器的挑战：在这样一个数字化时代，所有的数字信号采集都必须有相应的数字化的软硬件支撑。随着人们对于图像、视频等多媒体内容的需求和要求越来越高，对应的硬件设备如照相机、摄像机等信号采集的设备的压力也越来越大。比如，相

主要内容：1、动机2、基于朴素贝叶斯的文本分类器3、python实现 一、动机之前介绍的朴素贝叶斯分类器所使用的都是结构化的数据集，即每行代表一个样本，每列代表一个特征属性。但在实际中，尤其是网页中，爬虫所采集到的数据都是非结构化的，如新闻、微博、帖子等，如果要对对这一类数据进行分类，应该怎么办呢？例如，新闻分类，微博情感分析等。本文就介绍一种基于朴素贝叶斯的文本分

关于小波变换我只是有一个很朴素了理解。不过小波变换可以和傅里叶变换结合起来理解。傅里叶变换是用一系列不同频率的正余弦函数去分解原函数，变换后得到是原函数在正余弦不同频率下的系数。小波变换使用一系列的不同尺度的小波去分解原函数，变换后得到的是原函数在不同尺度小波下的系数。不同的小波通过平移与尺度变换分解，平移是为了得到原函数的时间特性，尺度变换是为了得到原函数的频率特性。小波变换步骤

[补充] 这是我时隔差不多两年后, 回来编辑这篇文章加的这段补充, 说实话看到这么多评论很是惊讶, 有很多评论不是我不想回复, 真的是时间久了, 很多细节我都忘记了, 无力回复, 非常抱歉.  我本人并非做CV的, 这两年也都没有再接触CV, 作为一个本科毕业的苦逼码工, 很多理论基础都不扎实, 回顾这篇文章的时候, 我知道其实有很多地方都是写的模棱两可, 加这个补充, 也是希望看这篇文章同学要带

在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？

1 常说尺度,而少说频率 小波就像优秀跳水运动员激起的水面昙花，涌现第一波，就很快消散了，衡量跳水运动的压水花的水平，用尺度显然比频率合适。（这里说“像”，而非“是”，请参见上文中在珍珠入水那一段的补充解释，也谢谢评论14的建议）。　　　　　设墨西哥草帽小波的函数为y=f(t/a),　　　则 a=1/4时 , y=f(4t)，绰号瘦草帽;    a=1/2 时，y=f(2t)，绰号中草

小波三特点：一小、二波、三速降   图1中给出了典型的小波，1号中规中矩、3号像白鹤亮翅，正视着读者；4号是哈尔小波，体型方头方脚，尺度有胖有瘦；5号是墨西哥草帽，漂亮且对称。从外形看，它们像一粒珍珠落入了九寨沟那湖面如镜的镜湖，动静不大而信息丰富；首次冲击之后，激起的涟漪随时间很快地渐行渐小。这里说“像”而不用“是”，是因为有两个物理对象:(a)中心点的上下振动随时间变化的曲线图，它在人

小波分解函数：[C,L] = wavedec(X,N,'wname')；returns the wavelet decomposition of the signal X at level N, using 'wname'. N must be a strictly positive integer. The output decomposition structure con

1.Cwt :一维连续小波变换格式：coefs=cwt(s,scales,'wavename')           coefs=cwt(s,scales,'wavename','plot')scales:尺度向量，可以为离散值，表示为[a1,a2,a3……]，也可为连续值，表示为[amin:step:amax]2.dwt:单尺度一维离散小波变换格式：[ca

1.在Shell上添加一个Label Label label = new Label(shell, SWT.CENTER); label.setText("This is a label"); label.setBounds(shell.getClientArea()); 一定要setBounds，否则label不会被显示出来。 2.显示系统信息 label.setText

1.下载swt： http://www.eclipse.org/swt/ 在Release栏下载目标平台所需要的zip包，解压到某个目录。 Windows: http://download.eclipse.org/eclipse/downloads/drops/R-3.6.2-201102101200/download.php?dropFile=swt-3.6.2-win32-wi

连续小波变换的概念、操作、及时间尺度图的显示 最近很多网友问到关于连续小波变换的诸多问题，我用了点时间，写了个底层程序，提供给大家参考。1。连续小波的概念。就是把一个可以称作小波的函数（从负无穷到正无穷积分为零）在某个尺度下与待处理信号卷积。改变小波函数的尺度，也就改变了滤波器的带通范围，相应每一尺度下的小波系数也就反映了对应通带的信息。本质上，连续小波也就是一组可控制通带范围的多

1 一维小波变换的 Matlab 实现(1) dwt 函数功能：一维离散小波变换格式：[cA,cD]=dwt(X,'wname')[cA,cD]=dwt(X,Lo_D,Hi_D)说明：[cA,cD]=dwt(X,'wname') 使用指定的小波基函数 'wname' 对信号X 进行分解，cA、cD 分别为近似分量和细节分量；[cA,cD]=dwt(X,Lo_

目标检测的图像特征提取之（三）Haar特征zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09 1、Haar-like特征       Haar-like特征最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，使用3种类型4种形式的特征。Haar特征分为三类：边缘特征、线性特征、中心

目标检测的图像特征提取之（二）LBP特征zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09         LBP（Local Binary Pattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikäinen, 和D. Har

目标检测的图像特征提取之（一）HOG特征zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09 1、HOG特征：       方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构

上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：间隔：δ=y(wx+b)=|g(x)|几何间隔： 可以看出δ=||w||δ几何。注意到几何间隔与||w||是成反比的，因此

作者：July ；致谢：pluskid、白石、JerryLead。出处：结构之法算法之道blog。前言    动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学

最近用到小波方面的知识，尤其是小波包变换。小波包变换的优势：（大部分书上 网上都有，我就简单摘了点过来）    由于正交小波变换只对信号的低频部分做进一步分解，而对高频部分也即信号的细节部分不再继续分解，所以小波变换能够很好地表征一大类以低频信息为主要成分的信号，但它不能很好地分解和表示包含大量细节信息（细小边缘或纹理）的信号，如非平稳机械振动信号、遥感图象、地震信号和生物医学

最近论文在用SVM进行分类，目的是检测缺陷。缺陷有三种分别是孔洞，刮擦和划痕缺陷。 我用过libsvm和ddtools还有就是matlab中的svm函数 (svmtrain和svmclsassify)，libsvm原来用的效果不好，我现在又忘了怎么用了，改天再把它捡起来吧，现在为应付毕业用的是 matlab的函数。        进行svm分类有这么几个步骤，第一是采集样本；提取样本的特征

本文主要记录自己在学习稀疏表示在人脸识别中的应用所遇到的问题作一简单的总结。1.  问题背景        信号的稀疏表示并不是新的东西。我们很早就一直在利用这一特性。例如，最简单的JPEG图像压缩算法。原始的图像信号经过DCT变换之后，只有极少数元素是非零的，而大部分元素都等于零或者说接近于零。这就是信号的稀疏性。        任何模型都有建模的假设条件

% 支持向量机SVM分类算法clear all% ------------------------------------------------------------%% 构造两类训练数据集     x2=aa*x1+bb+(-)b1aa=3;bb=6;b1=0.2;       x1(:,1) = -1:0.1:1;n = length(x

目前已有很多方法和技术用于构造分类模型，如决策树、神经网络、贝叶斯方法、Fisher线性分析(Fld)以及支持向量机(Support Vector Machine, SVM)。基于超完备字典的信号稀疏分解是一种新的信号表示理论，其采用超完备的冗余函数系统代替传统的正交基函数，为信号自适应的稀疏扩展提供了极大的灵活性。稀疏分解可以实现数据压缩的高效性，更重要的是可以利用字典的冗余特性捕捉信号

转自优快云彬彬有礼的博客：http://blog.youkuaiyun.com/jbb0523/article/details/40268943================问题的引出================压缩感知中为了解释0范数或1范数最优化为什么总会导致一个稀疏解的原因在解释时经常使用lp球与直线的交点去解释，下面论文中就是这样子解释的：戴琼海，付长军，季向阳.压

二次规划 二次规划为非线性规划的一种，若某非线性规划的目标函数为自变量x 的二次函数，约束条件又全是线性的，就称这种规划为二次规划。 Matlab 中二次规划的数学模型可表述如下：quadprog函数 二次规划的matlab解法" title="matlab quadprog函数 二次规划的matlab解法" style="margin:0px; padding:0px;

主要内容：信号的稀疏表示模型压缩测量RIP性质恢复重建 一、信号的稀疏表示模型信号在某个空间是非稀疏的，如果变换到某个空间，即可变成稀疏的。稀疏信号表示有极少的非零系数。如下图，左边表示X信号在R3空间中只有一个非0系数，右边表示X信号在R3空间只有两个非0系数。如果信号是稀疏的，那么就没必要采集那些在空间系数为0的值。相反，只采集少量的非零系数，而

主要内容：1、L1 minimization2、Matching Pursuit3、Iterative thresholding4、Total-variation minimization 1、L1 minimization这是一个凸优化问题，类似于统计学中的LASSO。优化算法有：特点：L1最小化的其他形式：2、Matching Pur

（一）SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Ac

主要内容：1、十折交叉验证2、混淆矩阵3、K近邻4、python实现 一、十折交叉验证前面提到了数据集分为训练集和测试集，训练集用来训练模型，而测试集用来测试模型的好坏，那么单一的测试是否就能很好的衡量一个模型的性能呢？答案自然是否定的，单一的测试集具有偶然性和随机性。因此本文介绍一种衡量模型（比如分类器）性能的方法——十折交叉验证(10-fold cross va

前面介绍了关于压缩感知的一些理论知识，这里介绍压缩感知最简单最开始的应用——单像素相机Single Pixel Camera。1、单像素相机的模型与结构：如下图所示：PD是光感器件（即单像素），对应公式中的yi；场景图像对应公式中的f；DMD是数字微镜阵列，用来生成测量矩阵，每一次对应公式中的Φ其中一行。实际的实验场景：2、单像素相机的重建结果

主要内容：1、动机2、聚类3、python实现 一、动机之前我们实现的分类器都是基于带标签或类别的数据集，这种学习方法叫做有监督的学习，这些数据一般都是通过人工标注的，成本和代价比较高。而实际中的原生数据都是没有标注的，如果没有标签，是否也能为这些数据进行分类呢？答案是肯定的，那就是本文要介绍的无监督学习方法——聚类。有监督学习：对带类别标签的数据集进行学习，训

主要内容：1、显性和隐性行为2、基于物品的协同过滤3、python实现4、基于用户和基于物品的协同过滤应用一、显性和隐性行为：了解用户喜好的途径有两种：1、显式的标记，即对物品进行“踩”/"赞"或打分等明显行为，例如购物网站对商品的评分等；2、隐式的跟踪，即跟踪用户对物品的行为，如点击、浏览等隐藏行为，例如购物网站中的“浏览过该商品的用户还浏览了”等；那么显式的