雪伦的专栏

SVD是一种常用的矩阵分解技术，是一种有效的代数特征提取方法。SVD在协同过滤中的主要思路是根据已有的评分情况，分析出评分者对各个因子的喜好程度以及电影包含各个因子的程度，最后再反过来分析数据得出预测结果。RSVD、SVD++、ASVD是基于SVD的改进算法。本文算法主要考虑个性化推荐领域1.Matrix Factorization Model 和 Baseline Predictors　　 SVD

1.初识协同过滤 (CF)　　 要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。　　 协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的，

条件随机场应该是机器学习领域比较难的一个算法模型了，难点在于其定义之多（涉及到概率图模型、团等概率）、数学上近似完美（涉及到概率、期望计算，最优化方面的知识），但是其在自然语言处理方面应用效果比较好，所以本文结合李航老师的《统计学习方法》学习一下。1.定义1.1 图　　图是由结点和连接结点的边组成的集合。结点和边分别记作v和e，结点和边的集合分别记作V和E，图记作G=（V，E）。无向图是指边没有方向

隐马尔可夫模型原理部分可以概括为三句话：一个定义、两个假设、三个问题　　HMM是一个五元组（Y，X，π，A，B），其中Y是状态（输出）的集合，X是观察值（输入）集合，π是初始状态的概率，A是状态转移概率矩阵，B是输出观察值概率矩阵。1.定义　　隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列，再由各个状态随机生成一个观测而产生观测的序列的过程。　　隐马尔可夫

1.背景知识（1）期望离散型　　X1,X2,X3，……，Xn为这离散型随机变量，p(X1）,p(X2）,p(X3），……p(Xn)为这几个数据的概率函数。在随机出现的几个数据中p(X1）,p(X2）,p(X3），……p(Xn)概率函数就理解为数据X1,X2,X3，……，Xn出现的频率f(Xi).则： 　　设Y是随机变量X的函数：Y=g（X）（g（X）是连续函数）它的分布律为若绝对收敛，则有: 连

本文主要包括常见机器学习算法的实现，其中数学推导、原理、并行实现会给出链接。 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各

介绍 在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在判别式模型中，我们往往需要学习参数，从而使得我们的模型f(x)可以逼近实际的y。如果学习参数，则通常会用到梯度下降、牛顿、拟牛顿学习算法。 参考自网络资源1.梯度下降1.1 为何使用梯度作为

序本文旨在对决策树算法的python实现及利用matplotlib绘制树进行学习。算法描述（1）最小二乘回归树生成算法（2）CART生成算法 其中，5.25如下1.计算给定数据集的香农熵def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet:

1.关键概念及学习目标线性&非线性分类问题&核技巧 非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。如上图左侧，我们无法用直线（线性模型）将正负例正确分开，但可以用一条椭圆曲线（非线性模型）将他们正确分开。此时，我们可以进行一个非线性变换。核技巧应用到支持向量机，其基本想法就是通过一个非线性变换将输入空间（欧氏空间或离散集合）对应于一个特征空间（希尔伯特空间），使得原有的超曲

1.背景 Follow The Regularized Leader Proximal，简称FTRL，由Google公司提出。由于FTRL收敛速度快、能产生稀疏解等优势，FTRL在计算广告领域的重要性日益凸显。 2.回顾SGD 可以参考文章利用SGD方法训练FM模型 地址 定义： 模型参数: 第t个样本: 自定义Loss Function 然后可以利用随机梯度下降（SGD）得到参数

特征提取、特征选择是特征工程中的两个重要重要问题，坊间常说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。 相关链接： 特征选择 1.简介 对于特征提取，可以简单对问题分为两类 （1）图像、自然语言类 （2）其他（常见分类、回归问题，即没有太多原始特征） 2.第一类 图像：这里以mnist数据集为例，共有5万张图片（24*24），10个类别。假设我们使用CNN进行

1.背景Steffen Rendle于2010年提出Factorization Machines（下面简称FM），并发布开源工具libFM。FM的提出主要对比对象是SVM，与SVM相比，有如下几个优势 （1）对于输入数据是非常稀疏（比如自动推荐系统），FM可以，而SVM会效果很差，因为训出的SVM模型会面临较高的bias。 （2）FMs拥有线性的复杂度, 可以通过 primal 来优化而不依赖于

文章内容可能会相对比较多，读者可以点击上方目录，直接阅读自己感兴趣的章节。1.序　　距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下这篇文章。　　关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考文献中会给出地

1.模型提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉决策树。提升树模型可以表示为决策树的加法模型： 其中，表示决策树；为决策树的参数；M为树的个数2.学习过程回归问题提升树使用以下前向分布算法：在前向分布算法的第m步，给定当前模型，需求解得到，即第m棵树的参数当

1.分类回归树CART 随机森林是由多颗CART树组成的，下面简单叙述下回归树及生成树的算法 （1）最小二乘回归树生成算法 （2）分类树的生成 分类树可以使用基尼指数、信息增益、分类误差率作为分类标准，至于为什么上面的指标，我们可以从信息论的角度思考。同样采样这样的分类标准会导致生成树选择最优属性时会偏向类别比较多的属性，因此在实际使用的过程中应对数据集进行处理或者控制树的深度。虽然决策

1.逻辑斯蒂回归模型LR模型主要用于分类模型，细心的人不难发现LR模型在线性回归模型上加了一个sigmoid转换。为了更加深入地了解这个模型，我们可能要思考以下几个问题（1）sigmoid从何而来，篇幅比较大，下面会单独讨论 （2）sigmoid转换的优势 - 求梯度方便 - 数据统一分布在0-1之间，从下面的LR分布也可以看出 （3）这种转换需要注意的地方，LR分布可以此种转换的特征2

介绍 经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。1.线性回归原理其中，为偏置参数，M为特征数目，为基函数（径向基函数(rbf)、sigmoid基函数等），特别地，当 = ,