一、什么是数据规范化    数据规范化是数据挖掘中数据变换的一种方式，数据变换将数据转换或统一成适合于挖掘的形式。而数据规范化是指将被挖掘对象的属性数据按比例缩放，使其落入一个小的特定区间（如[-1, 1]或[0,1]）。二、数据规范化的作用    对属性值进行规范化常用于涉及神经网络或距离度量的分类算法和聚类算法中。比如使用神经网络向后传播算法进行分类挖掘

l1-最小化问题在最近几年一直是信号处理与优化领域的热点话题。min||x||1 subject to||b−Ax||2ϵIST(Iterative Shrinkage-Thresholding Method) 将上述优化问题，当做如下目标函数的的一个特殊形式来处理：minxF(x)=f(x)+λg(x)式中f

【摘要】    - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测    - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和

前言：　　由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数（下面将介绍）约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。　　首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了（也有可能是因为各个版本书所

数学中最优化问题的一般表述是求取，使，其中是n维向量，是的可行域，是上的实值函数。凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。其中，是 凸集是指对集合中的任意两点，有，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集，则涉及到闭集的定义，而闭集的定义又基于开集，比较抽象，不赘述，这里

通常而言，损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料：http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf （题名“Loss functions; a unifying view”）。

稀疏编码的一般最优化公式为：其中的零范数为非凸优化。那么如何解这么一个非凸优化问题呢？其中一个常用的解法就是MP算法。MP算法MP算法是一种贪心算法（greedy），每次迭代选取与当前样本残差最接近的原子，直至残差满足一定条件。求解方法首先解决两个问题，怎么定义“最接近原子”，怎么计算残差？选择

在别的网站，http://www.eecs.berkeley.edu/~yang/software/l1benchmark/看到很久了，今天转过来，给大家方便。SparseLab: http://sparselab.stanford.edu/Orthogonal Matching Pursuit (OMP): SolveOMPPrimal-Dual Basis Pu

from:http://www.360doc.com/content/13/0325/15/11824314_273815684.shtml1、只有这么几个人在做LASSO，他们都是大牛，你可以直接GOOGLE他们的主页，看他们在这块发了什么文章。yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Mein

生成模型与判别模型zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09       一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点理解，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X)       监督学习的任务就是从数

一.主题模型传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。        举个例子，有两个句子分别如下：                “乔布斯离我们而去了。”                “苹果价格会不会降？”

转载：http://taoo.iteye.com/blog/760589 前面的一个帖子中谈到了在决策树模型下计算AUC的问题，主要是讨论如何用决策树得到test samples的更为合理的rank。但是，关于怎么计算AUC却没有详细说明。本文试图总结和理清楚AUC计算这个问题，这么做，除了因为AUC本身比较常用和重要以外，还有以下两个方面的原因： a. 有些做machin

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)版权声明：   本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:   上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任

先烈一些DML的参考资源，以后有时间再详细谈谈。1. Wikipedia2. CMU的Liu Yang总结的关于DML的综述页面。对DML的经典算法进行了分类总结，其中她总结的论文非常有价值，也是我的入门读物。3. ECCV 2010的turorial。4. Weinberger的页面，上面有LMNN（Distance Metric Learning for Lar

生成模型与判别模型zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09       一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点理解，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X)       监督学习的任务就是从数

2006年的ICDM（the IEEE International Conference on Data Mining) 上，评选出了数据挖掘领域的十大算法，分别是1，C4.5    C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，

【摘要】    - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测    - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和

1. 线性代数 (Linear Algebra)：我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是Introduction to Linear Algebra (3rd Ed.)  by Gilber

转自：http://www.eecs.berkeley.edu/~yang/software/l1benchmark/MATLAB Benchmark ScriptsL-1 Benchmark Package: http://www.eecs.berkeley.edu/~yang/software/l1benchmark/l1benchmark.zip

机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。

转载：  http://blog.youkuaiyun.com/ice110956/article/details/20936351PCA 流程如下：1、去均值  2、计算协方差矩阵 3、计算协方差特征值和特征向量 4、降序排列特征值选取较大的特征值,选择相应的特征值和特征向量以下按照步骤编写matlab代码。1.去均值Matlab函数mean可得：如下Mean

机器学习，讨论的是如何让计算机程序进行学习。因为现实世界中有很多问题，不能通过直接编程解决，如手写数字识别，自动驾驶等。人们希望计算机程序也能像人一样，从已有的经验中进行学习，来提高它的性能。     那什么是机器学习了？首先来看什么是学习。学习的一般说法是，在经验的作用下，行为的改变。学习有一个要素，那就是经验，学习的结果是行为的改变。如果人经过学习后，并没有改变其行为，则不能称其学习了。机

【转载请注明出处】http://www.cnblogs.com/jerrylead6 拉格朗日对偶（Lagrange duality）     先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：            目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为   

【转载请注明出处】http://www.cnblogs.com/jerrylead1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原

7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中

11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for

9 规则化和不可分情况处理（Regularization and the non-separable case）我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张

今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数

PCA （ Principal Component Analysis ， PCA ）是主成分分析，主要 用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的

引言：机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。当然还有一大类方法本质上也是做了降维，叫做feature

很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！假设原始数据表示为X，（m

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成

过拟合：1）简单理解就是训练样本的得到的输出和期望输出基本一致，但是测试样本输出和测试样本的期望输出相差却很大 。2）为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的

http://blog.youkuaiyun.com/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必

转自：http://blog.youkuaiyun.com/yangliuy/article/details/7316496SVM入门（一）至（三）Refresh按:之前的文章重新汇编一下,修改了一些错误和不当的说法，一起复习,然后继续SVM之旅.（一）SVM的简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决

最近在详细的看Andrew Ng的在斯坦福上的机器学习视频，在微博上和在周围人的推荐了火山喷发式得一下子发现了很多机器学习的视频资料，这里稍微整理一下。最出名的当然是Andrew Ng在斯坦福的课程，在网易公开课上已经有了全部的翻译，地址在http://v.163.com/special/opencourse/machinelearning.html同时在网易公开课上还有加州理工学

本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言：    又有很长的一段时间没有更新博客了，距离上次更新已经有两个月的时间了。其中一个很大的原因是，不知道写什么好-_-，最近一段时间看了看关于SVM(Suppor

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。学习方式根据数据类型的