pi9nc的专栏

svm主要是要通过训练样本来确定拉格朗日算子的值。是一个最小化的过程（二次规划问题，Quadratic Programming）。不过由于中间涉及到n^2（n=样本数）维数矩阵（特征数）的循环处理，计算非常麻烦。下面介绍一下比较出名的几个训练svm的方法。逐步简化矩阵运算，达到全局最低值。从基础的chunking开始。ChunkingOsunaSMOChunking:C

支持向量机：Kernel II by pluskid, on 2011-01-25, in Machine Learning     28 comments本文是“支持向量机系列”的第七篇，参见本系列的其他文章。在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况，那里用到的方法就是通过一个非线性映射 ϕ(⋅) 将原

正则化(regularization)在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决，但是其他反问题却很容易得到答案。显然，易于解决的问题不会比很难解决的问题更

机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言：

机器学习中的数学(2)-线性回归，偏差、方差权衡版权声明：    本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。如果有问题，请联系作者 wheeleast@gmail.com前言：    距离上次发文章，也快有半个月的时间了，这

机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    第二篇的文章中谈到，和部门老大一宁出去outing的时候

强大的矩阵奇异值分解(SVD)及其应用版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，

SVD and LSI Tutorial 1: Understanding SVD and LSIA tutorial on Singular Value Decomposition (SVD) and Latent Semantic Indexing (LSI), its advantages, applications and limitations. Covers LSI myths a

机器学习中的算法(1)-决策树模型组合之随机森林与GBDT版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)版权声明：   本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:   上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，

Tags: 数学, 机器学习与人工智能, 计算机科学save it69 savedtags:贝叶斯mathbayesianalgorithm数学science教程bayesprogramming刘未鹏概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看

特征选择常用算法综述Posted on 2011-01-02 14:40 heaad 阅读(7207) 评论(10) 编辑 收藏 1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全

条件随机场 conditional random fields 及代码实现分类： 机器学习2012-08-27 10:29 301人阅读 评论(0) 收藏 举报条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移

】一些machine learning的网站总结 (2012-05-31 16:46:22)转载▼标签： 转载分类： MachineLearning原文地址：learning的网站总结" href="http://blog.sina.com.cn/s/blog_50d4c97b0100re79.html" ta

机器学习——深度学习(Deep Learning)分类： Machine Learning2012-08-04 09:49 2865人阅读 评论(4) 收藏 举报classificationhierarchyalgorithmfeaturesfunctionDeep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网

最大熵模型：读书笔记  胡江堂，北京大学软件学院 1. 物理学的熵2. 信息论的熵3. 熵和主观概率（一个简单注释4. 熵的性质4.1. 当所有概率相等时，熵取得最大值4.2. 小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多5. 最大熵原理：直觉讨论6. 最大熵原理：一个手工例子7. 最大熵原理：

[转载]关于SVD的一些参考文献  2011-03-24 16:36:46|  分类： 默认分类|字号 订阅来源 ：何必完美 http://blog.sina.com.cn/s/blog_49b5f5080100q8c0.html1）A Tutorial on Principal Component Analysis, Jonathon Shlens

转自林达华2010-05-19 19:58:08|  分类： 研究笔记|字号 订阅原文名为：Homework? Review paper for Science今天作业的一部分，是以Science的reviewer的身份去review一篇文章，并攥写review报告。这篇文章是已经在1996年发表于Science上，标题非常有

(2013-01-30 12:45:42)转载▼ 分类： 科技变换与不变是数学里面最令人神往的一对矛盾统一。所谓“变换不变性”，以不变刻画变化，其核心深刻反映了这种对偶的关系。变换不变性贯彻于很多具体的数学领域之中，对它的全面讨论远非我力所能及。这篇文章只是讨论它的一个简单例子，希望通过一个小小的窗口管窥这个世界的奥妙。

分类： 图像处理&机器视觉&matlab2012-06-13 16:00 92人阅读 评论(0) 收藏 举报算法人脸识别优化产品cLDA算法入门一． LDA算法概述：线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经

(转)最大熵模型与最大似然概率  2010-03-25 00:26:15|  分类： 研究笔记|字号 订阅     对于自然语言处理中的各种模型来说，最大熵模型是一种在形式上最简单，但是在实现上却最复杂的模型。最大熵模型就是在满足已知条件的情况下，求得使熵最大的概率模型。说起来很简单，实际上要求得这个熵最大的概率模型，计算量十分巨大，因此需要仔细设计细节

2010-05-19 19:52:41|  分类： 研究笔记|字号 订阅题目中所说到的四个词语，都是Machine Learning以及相关领域中热门的研究课题。表面看属于不同的topic，实际上则是看待同一个问题的不同角度。不少文章论述了它们之间的一些联系，让大家看到了这个世界的奇妙。从图说起这里面，最简单的一个概念就是“图”(Gr

图像处理与计算机视觉：基础，经典以及最近发展分类： 图像处理&机器视觉&matlab2012-12-09 09:57 342人阅读 评论(0) 收藏 举报目录(?)[+]///////////////////推荐博客//////////////////////////////////////xdyang的图像视觉小屋

Meanshift，聚类算法记得刚读研究生的时候，学习的第一个算法就是meanshift算法，所以一直记忆犹新，今天和大家分享一下Meanshift算法，如有错误，请在线交流。Mean Shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束. 1. Meanshift推导

作者： 阮一峰日期： 2011年7月21日上个月，Google把"相似图片搜索"正式放上了首页。你可以用一张图片，搜索互联网上所有与它相似的图片。点击搜索框中照相机的图标。一个对话框会出现。你输入网片的网址，或者直接上传图片，Google就会找出与其相似的图片。下面这张图片是美国女演员Alyson Hannigan。上

Ensemble learningFrom Wikipedia, the free encyclopediaFor an alternative meaning, see variational Bayesian methods.In statistics and machine learning, ensemble methods use multip

信息检索及信息过滤方法概述文章来自： http://www.dmresearch.net/Information-Retrieval/200412/1851.html本文总结了信息检索(IR)的主要技术，主要内容分成两部分：第一部分，对传统IR方法(全文本扫描(full text scanning)、倒排文件(inversion)、签名文件(signature file)及聚类

Non-negative Matrix Factorization and Probabilistic Latent Semantic Analysis分类： machine learning2013-03-29 16:15 63人阅读 评论(0) 收藏 举报目录(?)[+]Non-negative Matrix Factorization

搜索引擎相关资源分类： 搜索引擎Search Engine2012-09-29 11:10 544人阅读 评论(0) 收藏 举报1. 开源项目1.Lucene全文检索系统      http://lucene.apache.org和 http://www.lucene.com.cn/      Lucene是apache软件基金会4 jakarta项目组的一

数据挖掘领域十大经典算法初探分类： 02.Algorithms（后续） 30.Machine L&Data Mining2011-01-15 15:31 28744人阅读 评论(45) 收藏 举报算法数据挖掘classificationalgorithmvectorgoogle数据挖掘领域十大经典算法初探 译者:July   二零一一年一月十五日

机器学习/数据挖掘之中国大牛推荐几个机器学习和数据挖掘领域相关的中国大牛：李航：http://research.microsoft.com/en-us/people/hangli/，是MSRA Web Search and Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性等问题的研

随机样本选择——快速求解机器学习中的优化问题九月 5th, 2012 · diaorui · 数值计算, 数学规划, 数据挖掘4 comments3前阵子去参加了数学规划会议，报告很多，人也很多。或者说报告和人过多了……有少数感兴趣的报告，这里谈一下全场最后一个报告。报告人是Jorge Nocedal，就是著名的LBFGS

Semi-supervised Learning Literature Survey发表于 2011-09-16由 lixiang　　朱晓进 (Jerry Xiaojin Zhu)，现为美国威斯康星大学 (University of Wisconsin, Madison) 计算机系的助理教授。朱晓进1993年从中国的上海交通大学毕业并获得其计算机的学士学位。1996年获得美国卡

隐马尔可夫模型攻略发表于 2011-10-18　　隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别

机器学习中的相似性度量发表于 2012-01-03　　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。　　本文目录：　　1. 欧氏距离

聚类的一些评价手段2010-03-05 19:19 2080人阅读 评论(1) 收藏 举报文档算法fpcemail图形什么是聚类聚类简单的说就是要把一个文档集合根据文档的相似性把文档分成若干类，但是究竟分成多少类，这个要取决于文档集合里文档自身的性质。下面这个图就是一个简单的例子，我们可以把不同的文档聚合为3类。另外聚类是典型的无指导学习，所谓无指导学习是指不需要有

牛顿法2011-06-05 17:11 2821人阅读 评论(12) 收藏 举报优化任务平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的

特征选择常用算法综述Posted on 2011-01-02 14:40 苍梧 阅读(12458) 评论(11) 编辑 收藏 1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特

粒子群算法(1)----粒子群算法简介分类： 粒子群算法研究2007-04-18 20:59 5521人阅读 评论(9) 收藏 举报算法optimization优化system生物图形粒子群算法简介一、粒子群算法的历史        粒子群算法源于复杂适应系统（Complex Adaptive System,CAS）。CAS理论于1994年正式提

遗传算法与直接搜索工具箱学习笔记 四-----从直接搜索算法开始分类： 遗传算法与直接搜索2009-11-24 20:34 1286人阅读 评论(0) 收藏 举报算法工具optimization网格constraintsmatlab一、什么是直接搜索算法     什么是直接搜索算法？这个是我们将面对的第一个问题，如果连直接搜索是什么都不知道，还谈什么应用