Kylin-Xu的专栏

转载 Notes_on_MLIA_kNN

# k-nearest neighbor algorithm# function classify0# arguments: # inX: the new observation which is to be labeled by the algorithm# dataSet: train sample# labels: label for train sample# k: k in

转载 Gradient Boosting

1. 决策树      应用最广的分类算法之一，模型学习的结果是一棵决策树，这棵决策树可以被表示成多个if-else的规则。决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树：这样使得每一个叶子节点都是在空间中的一个不相交的区域。学习得到如上这棵决策树之后，当输入一个待分类的样本实例进行决策的时候，我们就可以根据这个样

转载 Boosting算法

一、Boosting算法的发展历史　　Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。　　1）bootstrapping方法的主要过程　　主要步骤：

转载 求伪逆的三种方法：直接，SVD，QR

求伪逆的三种方法：直接，SVD，QR - [专业理论]版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明http://www.blogbus.com/shijuanfeng-logs/238839798.html① 直接求解：求导，令导数为0，结果如下: InvA=(ATA)-1AT % 直接求伪逆 InvA = inv(A'*A)*A';

原创 关于K-fold cross validation 下不同的K的选择的疑惑？

在K-fold cross validation 下 比较不同的K的选择对于参数选择（模型参数，CV意义下的估计的泛化误差）以及实际泛化误差的影响。更一般的问题，在实际模型选择问题中，选择几重交叉验证比较合适？ 交叉验证的背景知识：CV是用来验证模型假设（hypothesis）性能的一种统计分析方法，基本思想是在某种意义下将原始数据进行分组，一部分作为训练集，一部分作为验证集，使用训练

转载 关于crossvalind函数

关于crossvalind函数 crossvalind是cross-valindation的缩写，意即交叉检验。 常用的形式有： ①Indices =crossvalind('Kfold', N, K) ②[Train, Test] = crossvalind('HoldOut',N, P) ③[Train, Test] = crossvalind('LeaveMOut',N, M) 

转载 高人对libsvm的经典总结

高人对libsvm的经典总结（全面至极）  2010-07-11 21:22:43|  分类： 代码算法|举报|字号 订阅http://www.ilovematlab.cn/viewthread.php?tid=74019&sid=vYpSs5SVM相关资源汇总[matlab-libsvm-class-regress](by faruto)S

转载 Matlab中图片保存的四种方法

Matlab中图片保存的四种方法matlab的绘图和可视化能力是不用多说的，可以说在业内是家喻户晓的。Matlab提供了丰富的绘图函数，比如ez**系类的简易绘图函数，surf、mesh系类的数值绘图函数等几十个。另外其他专业工具箱也提供了专业绘图函数，这些值得大家深入学习好久。今天我只是讨论下如何保存这些由Matlab绘制出来的图像呢？当然借助第三方截图软件，就算了！

转载 听课笔记（第五讲）： 学习的可行性分析（一些概念和思想） (台湾国立大学机器学习基石）

2013-12-27 15:28:56Training versus Testing1，回顾：学习的可行性？最重要的是公式： （1） 假设空间H有限（M），且训练数据足够大，则可以保证测试错误率Eout 约等于训练错误率Ein；（2）如果能得到Ein 接近于零，根据（1），Eout 趋向于零。

转载 听课笔记（第六讲）： 归纳理论(台大机器学习）

·上一讲重点是一些分析机器学习可行性的重要思想和概念，尤其是生长函数(growth function) 和突破点(break point) 的理解。这一讲开篇再介绍一个界函数（bounding function）的概念：是指当（最小）突破点为k 时，生长函数m(N) 可能的最大值，记为B(N, k)。显然，当k=1时，B(N, 1) = 1; 当k > N 时，

转载 听课笔记（第七讲）： VC维理论 (台大机器学习）

·上一讲的最后得到了VC bound，这一讲对VC维理论进行理解，这是机器学习（最）重要的理论基础。我们先对前面得到的生长函数和VC bound 做一点小的修改。  1，VC 维的定义VC Demension: 对于假设空间H，满足生长函数m(

转载 听课笔记（第八讲）： 噪音和错误 (台大机器学习）

·当我们面对的问题不是完美的（无噪音）二值分类问题，VC 理论还有效吗？1，噪音和非确定性目标几种错误：(1) noise in y: mislabeled data; (2) noise in y: different labels for same x; (3) noise in x: error x.将包含噪音的y 看作是概率分布的，y ~ P(y

转载 听课笔记（第九讲）： 线性回归 (台大机器学习）

·1， 线性回归问题例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...），我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。目标值y 是实数空间R。线性回归假设： 线性回归假设的思想是：寻找这样的直线/平面/超平面，使得输入数据的残差最小。通常采用的

转载 听课笔记（第十讲）： 逻辑斯蒂回归 (台大机器学习）

·上一讲是关于线性回归，重点是求解w 的解析方案(通过pseudo-inverse 求解w)。这一讲关注另一个很重要的方法，逻辑斯蒂回归(logistic regression)。林轩田对逻辑斯蒂回归的解释思路和Andrew Ng 还是有明显区别的，都十分有助于我们的理解；但要深究其数学意义，还要自己多钻研。1，逻辑斯蒂回归问题有一组病人的数据，我们

转载 听课笔记（第十一讲）： 线性分类模型 (台大机器学习）

在上一讲中，我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类，因为它们对应的错误衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1， 三个模型的比较1.1 分析Error Function本质上讲，线性分类（感知机）、线性回归、逻辑斯蒂回归都属于线性模型，因为它们的核心都是一个线性score 函数：

转载 听课笔记（第十二讲）： 非线性转换 (台大机器学习）

前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC 维的保证；然而，面对线性不可分的数据时（实际中也有许多这样的例子），线性方法不那么有效。1，二次假设对于下面的例子，线性假设显然不奏效： 我们可以看出，二次曲线（比如圆）可以解决这个问题。接下来就分析如何通过二次曲线假设解决线性方法无法处理的问题，

转载 听课笔记（第十三讲）： 过拟合 - Overfitting (台大机器学习）

1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein 很小，Eout 却很大。而Ein 和 Eout 都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。 上图中，竖直的虚线左侧是"underfitting", 左侧是"overfitting”。发生overfitting

转载 听课笔记（第十三讲）： 过拟合 - Overfitting (台大机器学习）

1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein 很小，Eout 却很大。而Ein 和 Eout 都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。 上图中，竖直的虚线左侧是"underfitting", 左侧是"overfitting”。发生overfitting

转载 听课笔记（第三讲）： 机器学习的分类学 (台湾国立大学机器学习基石）

机器学习方法的分类学，通过不同的分类标准来讨论。一，根据输出空间来分类。1， 分类(classification)1.1 二值分类 (binary classification)：输出为 {+1， -1}。1.2 多值分类 (multiclass classification)：输出为有限个类别，{1, 2, 3, ... , K}2， 回归(regression)

转载 听课笔记（第四讲）：学习的可行性分析 (台湾国立大学机器学习基石）

机器学习的可行性分析。一， 第一条准则： 没有免费的午餐！(no free lunch !)给一堆数据D， 如果任何未知的f （即建立在数据D上的规则）都是有可能的，那么从这里做出有意义的推理是不可能的！！ doomed !!如下面这个问题无解（或者勉强说没有唯一解）： 下面这题也是如此：

转载 听课笔记（第二讲）： Perceptron-感知机 (台湾国立大学机器学习基石）

Learning to Answer Yes/No （二值分类）一, Perceptronx = (x1, x2, ..., xd) ---- featuresw = (w1, w2, ..., wd) ---- 未知（待求解）的权重对于银行是否发送信用卡问题： perceptron 假设：

转载 机器学习基石

一，什么是机器学习？使用Machine Learning 方法的关键：1， 存在有待学习的“隐含模式”2， 该模式不容易准确定义（直接通过程序实现）3， 存在关于该模式的足够数据 这里的f 表示理想的方案，g 表示我们求解的用来预测的假设。H 是假设空间。通过算法A， 在假设空间中选择最好的假设作为g。选择

转载 k-折交叉验证(k-fold crossValidation)

k-折交叉验证(k-fold crossValidation)：在机器学习中，将数据集A分为训练集（training set）B和测试集（testset）C，在样本量不充足的情况下，为了充分利用数据集对算法效果进行测试，将数据集A随机分为k个包，每次将其中一个包作为测试集，剩下k-1个包作为训练集进行训练。在matlab中，可以利用：indices=crossvalind('K

转载 MP算法和OMP算法及其思想

2012-04-17 03:09 21199人阅读 评论(42) 收藏 举报算法orthogonalmatlabfunction工具主要介绍MP(Matching Pursuits)算法和OMP(Orthogonal Matching Pursuit)算法[1]，这两个算法虽然在90年代初就提出来了，但作为经典的算法，国内文献(可能有我没有搜索到)都仅描述了算法步骤和简单的应用

转载 利用libsvm进行分类

这帖子就是初步教教刚接触libsvm（svm）的同学如何利用libsvm进行分类预测，关于 参数寻优 的问题在这里姑且不谈，另有帖子详述。其实使用libsvm进行分类很简单，只需要有属性矩阵和标签，然后就可以建立分类模型（model），然后利用得到的这个model进行分类预测了。那神马是属性矩阵？神马又是标签呢？我举一个直白的不能在直白的例子：说一个班级里面有两个男生（男生1、

转载 Deep learning笔记

Deep learning：一(基础知识_1) 出处：http://www.cnblogs.com/tornadomeet 欢迎转载或分享，但请务必声明文章出处。　　前言:　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下m

转载 THE MNIST DATABASE

http://yann.lecun.com/exdb/mnist/index.htmlTHE MNIST DATABASEof handwritten digitsYann LeCun, Courant Institute, NYUCorinna Cortes, Google Labs, New YorkChristopher J.C. Burges, Micros

转载 【综述】(MIT博士）林达华老师－"概率模型与计算机视觉”

转自：http://www.sigvc.org/bbs/thread-728-1-1.html距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述（http://www.sigvc.org/bbs/thread-165-1-1.html）之后，这次我们荣幸地邀请到美国麻省理工学院（MIT）博士林达华老师为我们撰写“概率模型与计算机视觉”的最新综述。这次我们特别增设了一

转载 Deep learning：十八(关于随机采样)

Deep learning：十八(关于随机采样) 先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法（sampling），该博文是网上找到的解释得最通俗的。其实学校各种带数学公式的知识时，最好有学者能用通俗易懂的语言介绍，这对入门学者来说极其重要。当然了，还参考了网页h

翻译 单层网络模型下对无监督特征学习算法的分析

转载 LaTeX使用技巧

LaTeX使用技巧      使用LaTex的方法：     （1）推荐一个手写公式、自动生成LaTex的网站——Web Equation.     （2）如果会LaTex，可以直接用在线LaTex编辑     （3）从mathtype转换：     首先打开文档，双击激活使用Mathtype编辑，在菜单中选择“参数”“转换”，去掉其他两个选项，点击

转载 CIFAR dataset

:http://www.cs.toronto.edu/~kriz/The CIFAR-10 and CIFAR-100 are labeled subsets of the 80 million tiny images dataset. They were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.T

转载 STL-10 dataset

STL-10 datasetThe STL-10 dataset is an image recognition dataset for developing unsupervised feature learning, deep learning, self-taught learning algorithms. It is inspired by the CIFAR-10 da

原创 Neural Networks code

Marc'Aurelio Ranzato (Google)’s Neural Networks code.Deep Learning Methods fo VisionCVPR 2012 Tutorial http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/ContentsCOMPUTE ER

转载 Deep Learning源代码收集

Deep Learning源代码收集转自：http://blog.youkuaiyun.com/zouxy09 收集了一些Deep Learning的源代码。主要是Matlab和C++的，当然也有python的。放在这里，后续遇到新的会持续更新。下表没有的也欢迎大家提供，以便大家使用和交流。谢谢。 最近一次更新：2013-9-22Theanohttp://deeplearnin

转载 Notes on Convolutional Neural Networks

CNN卷积神经网络推导和实现转自：http://blog.youkuaiyun.com/zouxy09       本文的论文来自：Notes on Convolutional Neural Networks, Jake Bouvrie。         这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。这里也先列出一个资料供参考：[1] Deep

转载 K-means特征学习

K-means特征学习转自：http://blog.youkuaiyun.com/zouxy09        本文的论文来自：Learning Feature Representations with K-means, Adam Coates and Andrew Y. Ng. In Neural Networks: Tricks of the Trade, Reloaded,

转载 单层非监督学习网络分析

单层非监督学习网络分析转自：http://blog.youkuaiyun.com/zouxy09       本文的论文来自：An Analysis of Single-Layer Networks in Unsupervised Feature Learning, Adam Coates, Honglak Lee, and Andrew Y. Ng. In AISTA

转载 Sparse Filtering稀疏滤波

Sparse Filtering稀疏滤波转自：http://blog.youkuaiyun.com/zouxy09        本文的论文来自：Sparse filtering , J. Ngiam, P. Koh, Z. Chen, S. Bhaskar, A.Y. Ng. NIPS2011。在其论文的支撑材料中有相应的Matlab代码，代码很简介。不过我还没读。

转载 What is the Best Multi-Stage Architecture for Object Recognition?

Deep Learning论文笔记之（六）Multi-Stage多级架构分析zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09          自己平时看了一些论文，但老感觉看完过后就会慢慢的淡忘，某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下，一方面在整理过程中，自己的理解也会更