机器学习
关注
分享
扫一扫
文章平均质量分 87
JN_rainbow
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
EM算法推导及其收敛性证明
EM算法简介EM算法(Expectation maximization algorithm，期望极大算法)是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代分为两步：E步，求期望；M步，求极大。概率模型有时既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计或贝叶斯法估计模型参数。但是当模型...原创 2018-11-22 13:10:22 · 2907 阅读 · 0 评论 -
集成学习算法梳理——GBDT
文章目录GBDT概述前向分步算法损失函数负梯度拟合损失函数分类算法正则化优缺点优点缺点sklearn APIsklearn.ensemble.GradientBoostingClassifier()应用场景参考资料GBDT概述GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)不仅可以用于分类问题，还可以用于回归问题，GBDT的核心思想在于，每一棵树学习...原创 2019-04-07 20:44:45 · 1596 阅读 · 0 评论 -
集成算法梳理——XGBoost
文章目录算法原理损失函数分裂结点算法正则化对缺失值处理优缺点优点缺点应用场景xgb API算法原理算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就...原创 2019-04-10 20:44:07 · 795 阅读 · 0 评论 -
基于adaboost的人脸快速检测
文章目录人脸检测方法基于肤色特征的检测高斯肤色模型肤色模型的缺点基于AdaBoost的快速人脸检测Haar-like矩形特征Haar-like特征的表示快速计算任意矩阵内所有像素的亮度之和AdaBoost基于AdaBoost的快速人脸检测基于分级分类器的加速策略分级分类器的构建人脸检测方法基于规则/知识方法归纳描述人脸特征的规则，如灰度分布、比例关系、纹理信息等.基于模板的方法固定模板...原创 2019-01-01 12:52:52 · 982 阅读 · 0 评论 -
Resample方法
文章目录BootstrapBaggingBoostingAdaBoostBootstrap在原有的训练数据集上重复性地随机选取n个数据.核心思想在于，给定训练集，当你认为给定的训练集不能够很好地反应数据的真实分布时，可以采用重采样的方法，来增大样本.Baggingbootstrap aggregating在原有的训练数据集DDD上，采用bootstrap的方法独立选取mmm个训练集分别...原创 2019-01-03 17:59:33 · 1530 阅读 · 0 评论 -
最大熵模型
文章目录最大熵原理最大熵模型的定义最大熵模型的学习参考资料最大熵原理最大熵模型是由最大熵原理推导实现的.最大熵原理认为，学习概率模型时，在所有可能的概率模型的中，即在所有可能的概率分布中，熵最大的模型时最好的模型. 当有约束条件时，就在满足约束条件的情况下选取熵最大模型.假设离散随机变量X的概率分布为P(X)P(X)P(X)，则其熵为H(P)=−∑xP(x)logP(x)H(P) =...原创 2018-12-27 10:58:08 · 318 阅读 · 0 评论 -
L1正则为什么会产生稀疏解
文章目录正则化的本质L2正则化直观解释数学解释L1正则化直观解释数学解释在机器学习中，当模型过于复杂时，为了防止产生过拟合的现象，最常用的方法时采用正则化，如L1正则和L2正则.正则化的本质L2正则就是在原来的损失函数的基础上加上权重参数的平方和.L=L0+λ∑jwj2L = L_0 + \lambda\sum_j w_j^2L=L0+λj∑wj2其中L0L_0L0时训练样本误差...原创 2018-12-27 10:27:00 · 1484 阅读 · 0 评论 -
SVM和LR对比
文章目录SVM和LR的相同之处SVM和LR的不同SVM和LR的相同之处二者都是监督学习方法.二者都是分类算法.二者都是线性分类算法，二者的分类决策面都是线性的，即求解一个超平面…SVM可以通过核技巧拓展到非线性.二者都是判别模型判别模型不会计算联合概率，而是直接生成表示条件概率的判别函数. 生成模型先计算联合概率，然后通过贝叶斯转化为条件概率. 常用的生成模型有朴素贝叶斯、隐马尔科...原创 2018-12-26 21:00:25 · 513 阅读 · 0 评论 -
AdaBoost详解
文章目录提升方法的思路强可学习和弱可学习PAC学习AdaBoostAdaBosst算法AdaBoost算法的训练误差分析前向分步算法前向分步算法和AdaBoost参考文献提升方法的思路对于一个复杂任务，将多个决策进行适当的综合所得出的判断，要比其中任何一个决策更为准确.对于分类问题，提升方法的就是从弱学习方法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器，大多数提...原创 2018-12-26 14:49:43 · 2212 阅读 · 0 评论 -
逻辑斯谛回归(对数几率回归)
文章目录LR简介损失函数参考LR简介逻辑斯谛回归是一种经典的线性分类方法，又被称为对数几率回归，其属于对数线性模型。线性回归完成了数据的拟合，我们通过引入一个sigmoidsigmoidsigmoid函数，即可在线性回归模型的基础上实现分类。sigmoid函数定义如下y=11+e−zy = \frac{1}{1 + e^{-z}}y=1+e−z1以二分类任务为例，取y∈{0,1...原创 2018-12-09 13:47:58 · 818 阅读 · 0 评论 -
数据降维(四)ISOMAP
流形学习——ISOMAP算法Isomap（Isometric Feature Mapping）是流行学习的一种，用于非线性数据降维，是一种无监督算法.流形流形是一个局部具有欧式空间性质的拓扑空间，流形能很好地近似任意高维的子空间.测地线距离测地距离(Geodesic Distance),在高维空间中度量距离不应当直接使用欧式距离,而应当使用测地距离.测地线距离定义邻近的点:输入空间...原创 2018-11-27 19:58:05 · 1322 阅读 · 1 评论 -
数据降维(三)PCA主成分分析
文章目录PCA主成分分析目标函数1:最小化重建误差目标函数2：最大化方差求解PCA(1)表现求解PCA(2)PCA总结非线性方法核方法KPCA算法PCA主成分分析PCA(principal Component Analysis，主成分分析)目标函数1:最小化重建误差假定∣∣wi∣∣=1,wiTwj=0(i≠j)||w_i||=1,w_i^Tw_j = 0(i\neq j)∣∣wi∣∣=...原创 2018-11-27 18:42:15 · 1291 阅读 · 0 评论 -
数据降维(二)多维缩放MDS
文章目录降维简介降维方法维度选择维度抽取基础知识特征分解奇异值分解特征值或奇异值的物理意义奇异值向量的含义线性模型多维缩放MDSMDS的形式化MDS算法过程降维简介降维或嵌入式指将原始的高维数据映射到低维空间.实质的想法：高度冗余的数据通常是可以被压缩的，即高维复杂的数据其内在的维度可能比较小，或与任务相关的维度比较小.降维方法维度选择选择已有维度的一个子集维度抽取通过组合已有的...原创 2018-11-27 01:30:13 · 715 阅读 · 0 评论 -
数据降维(一)基础篇
文章目录降维简介降维方法维度选择维度抽取基础知识特征分解奇异值分解特征值或奇异值的物理意义奇异值向量的含义降维简介降维或嵌入式指将原始的高维数据映射到低维空间.实质的想法：高度冗余的数据通常是可以被压缩的，即高维复杂的数据其内在的维度可能比较小，或与任务相关的维度比较小.降维方法维度选择选择已有维度的一个子集维度抽取通过组合已有的维度构建新的维度映射：原始空间f:Rd→Rd′f...原创 2018-11-27 17:46:05 · 519 阅读 · 0 评论 -
隐马尔可夫模型
文章目录隐马尔可夫模型简介隐马尔可夫模型的定义隐马尔可夫模型的三个基本问题概率计算算法直接计算法前向算法后向算法学习算法监督学习方法隐马尔可夫模型简介隐马尔可夫模型(Hidden Markov Model,HMM)是可用于标注问题的统计学习模型，描述由隐马尔可夫链随机生成观测序列的过程，属于生成模型. 序列的每一个位置被看作是一个时刻.隐马尔可夫模型的定义定义 (隐马尔可夫模型)设QQQ...原创 2018-11-24 19:59:22 · 755 阅读 · 0 评论 -
集成学习算法梳理——RF
文章目录集成学习集成学习的理论基础PAC(probably approximately correct)，可能近似正确学习框架强可学习&弱可学习主要算法Boosting、BaggingBoostingBaggingBootstrapBagging(Bootstrap aggregating)结合策略平均法投票法stackingblending随机森林随机森林推广Extra trees优缺点...原创 2019-04-03 13:52:54 · 1175 阅读 · 2 评论