《统计学习方法，李航》
关注
分享
扫一扫
mmc2015
北大信科学院，关注深度强化学习。http://net.pku.edu.cn/~maohangyu/
展开
-
《统计学习方法，李航》：3、k临近法与kd树
以后文章就不再强调三要素（模型、策略、算法），而是直接上最新鲜的部分。1）k的选择2）距离的度量3）k临近法的实现：kd树 3.1）kd树的构造 3.2）kd树的搜索1）k的选择一般初始化为比较小的值，用交叉验证判断哪一个值更好。2）距离的度量我们更常用的是欧氏距离，即p=2。3）k临近法的实现：kd树k临原创 2015-01-18 20:06:09 · 2883 阅读 · 0 评论 -
《统计学习方法，李航》：4、朴素贝叶斯法
1）朴叶素贝斯模型2）朴素贝叶斯法的参数估计3）其他1）朴叶素贝斯模型首先明白朴叶素贝斯模型是分类模型。后验概率最大化的实质是期望风险最小化。2）朴素贝叶斯法的参数估计要计算P(Y=ck|X=x)，就要计算P(Y=ck)和P(X(j)=x(j)|Y=ck)：3）其他例子参考：http://blog.youkuaiyun.com/qll12原创 2015-01-19 22:39:47 · 1311 阅读 · 0 评论 -
《统计学习方法，李航》：1、概述
1）统计学习2）监督学习3）统计学习三要素4）模型评估与模型选择5）判别模型与生成模型1）统计学习 统计学习分为：监督学习（supervised learning）、无监督学习（unsupervised learning）、半监督学习（semi-supervised learning）、强化学习（reinforcement learnin原创 2015-01-15 22:48:18 · 1538 阅读 · 0 评论 -
《统计学习方法，李航》：10、隐马尔科夫模型
1）隐马尔科夫模型的引入 隐马尔科夫模型（hidden Markov model, HMM）是可以用于标准问题的统计学习模型，在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。先给出隐马尔科夫模型的定义：给出严格的数学解释之前，先看个例子： 对于A、B、π的值，相信没有疑问，但是他们到底是指什么呢？下面给出严格的数学解释：原创 2015-01-25 14:04:18 · 1480 阅读 · 0 评论 -
《统计学习方法，李航》：9、EM算法及其推广（2）
1）EM算法的引入2）EM算法及简单解释3）EM算法在高斯混合模型中的应用4）EM算法的推广——GEM算法3）EM算法在高斯混合模型中的应用EM算法的重要应用是高斯混合模型的参数估计。先给出高斯混合模型：下面介绍利用EM算法估算高斯混合模型的参数theta：-）先明确一下目标：a）明确隐含变量，写出完全数据（直接变量+隐含原创 2015-01-24 20:58:13 · 1484 阅读 · 0 评论 -
《统计学习方法，李航》：2、感知机模型
1）概述2）感知器模型3）感知器策略4）感知器算法1）概述 感知机学习旨在求出将训练数据集进行线性划分的分类超平面（线性不可分的训练样例不能被感知器学习）。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。2）感知器模型 f(x)= sign(w*x+b)。其中，x为输入向量，原创 2015-01-16 21:23:44 · 1526 阅读 · 0 评论 -
《统计学习方法，李航》：8、提升方法Boosting（2）
1）Boosting思想和基本概念2）AdaBoost算法3）AdaBoost算法举例4）AdaBoost算法的解释——前向分步算法5）提升树算法6）提升树算法举例4）AdaBoost算法的解释——前向分步算法下面给出加法模型和前向分步算法的简单描述：一句话概括：前向分步算法就是分治的思想，把同时优化m=1...M的问题看原创 2015-01-23 13:21:23 · 1241 阅读 · 0 评论 -
《统计学习方法，李航》：7、支持向量机support vector machine（1）
0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义1）线性硬间隔支持向量机2）凸二次规划最优解求法——对偶方法3）线性硬间隔支持向量机学习算法及简单实例4）线性软间隔支持向量机5）非线性支持向量机6）序列最小最优化算法（SMO算法）7）一些讨论0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义原创 2015-01-21 20:36:51 · 4891 阅读 · 0 评论 -
《统计学习方法，李航》：6、logistic regression model
明白几点：1）logistic distribution2）binomial logistic regression model3）multi-nominal logistic regression model4）最大熵原理5）最大熵模型6）binomial logistic regression model、multi-nominal lo原创 2015-01-21 08:59:37 · 1820 阅读 · 0 评论 -
《统计学习方法，李航》：5、决策树
1）基本概念2）决策树的剪枝（针对ID3/C4.5生成的决策树）3）CART树之回归树生成法1）基本概念下面所有概念之前的文章有提到，不再重复。熵信息增益信息增益比基尼系数ID3算法C4.5算法CART算法2）决策树的剪枝（针对ID3/C4.5生成的决策树） 3）CART树之回归树原创 2015-01-19 23:17:34 · 2770 阅读 · 0 评论 -
《统计学习方法，李航》：9、EM算法及其推广（1）
1）EM算法的引入EM算法思想：EM算法引例：原创 2015-01-24 19:55:17 · 2958 阅读 · 0 评论 -
《统计学习方法，李航》：8、提升方法Boosting（1）
1）Boosting思想和基本概念2）AdaBoost算法3）AdaBoost算法举例1）Boosting思想和基本概念 下面的概念前面都讲过：PAC（probably approximately correct）学习框架强可学习（strongly learnable）弱可学习（weakly learnable）提升算法中最具有代原创 2015-01-23 12:55:35 · 2614 阅读 · 0 评论 -
《统计学习方法，李航》：7、支持向量机support vector machine（2）
0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义1）线性硬间隔支持向量机2）凸二次规划最优解求法——对偶方法3）线性硬间隔支持向量机学习算法及简单实例4）线性软间隔支持向量机5）核函数6）非线性支持向量机7）序列最小最优化算法（SMO算法）8）支持向量5）核函数 对于原始空间（输入空间）线性不可分的情况，常用的办原创 2015-01-21 22:27:46 · 1978 阅读 · 0 评论