yaochuyi的博客

监督学习监督学习分为两大类：回归分析 线性回归分类 logistic回归、SVM、KNN、朴素贝叶斯、决策树、随机森林、GBDT、Adaboost、XGboost、LDA无监督学习聚类 k-means、PCA、关联规则深度学习CNN、RNN强化学习马尔可夫决策过程常见的十种机器学习算法https://blog.youkuaiyun.com/h...

参考：http://www.blogjava.net/zhenandaci/archive/2009/02/13/254578.html 上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||ω||||ω||||\omega||这样的说法，这是怎么回事呢？回头再看看我们对间隔和...

参考：http://www.blogjava.net/zhenandaci/category/31868.html 也可参考刘建平大佬博客：http://www.cnblogs.com/pinard/p/6097604.htmlSVM简介http://www.blogjava.net/zhenandaci/archive/2009/02/13/254519.html 所谓VC维是对函数...

公式推导没太懂…直接移步大佬博客吧 梯度提升树(GBDT)原理小结 https://www.cnblogs.com/pinard/p/6140514.html挑一些重要的记下来1. GBDT概述GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭...

AdaBoost(Adaptive Boosting ) 转自：http://www.cnblogs.com/pinard/p/6133937.html1. 回顾boosting算法的基本原理 有几个具体的问题Boosting算法没有详细说明:如何计算学习误差率e?如何得到弱学习器权重系数α?如何更新样本权重D?使用何种结合策略？只要是boosting大家族的算法，都...

k-means & KNNk-means与kNN虽然都是以k打头，但却是两类算法——kNN为监督学习中的分类算法，而k-means则是非监督学习中的聚类算法； 二者相同之处：均利用近邻信息来标注类别。k-means基本算法在k-means算法中，用质心来表示cluster；且容易证明k-means算法收敛等同于所有质心不再发生变化。基本的k-means算法流程如下：选...

逻辑回归中，假设函数hypothesis hθ(x)hθ(x)h_\theta(x)为： hθ(x)=g(θTx)=11+e−θTx=g(θTx+b)hθ(x)=g(θTx)=11+e−θTx=g(θTx+b)h_\theta(x)=g(\theta^\mathrm{T}x)=\frac{1}{1+e^{-\theta^\mathrm{T}x}}=g(\theta^\mathrm{T}x+b) ...

naive bayes 垃圾邮件识别

Random Forest 是Bagging算法的进化版，也就是说，它的思想仍然是bagging,但是进行了独有的改进。bagging+CART决策树=随机森林首先，RF使用了CART决策树作为弱学习器； 第二，在使用决策树的基础上，RF对决策树的建立做了改进，对于普通的决策树，我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分，但是RF通过随机选择节点上的一部...

决策树模型决策树举例相亲栗子： 再来一个栗子： 机器学习算法其实很古老，作为一个码农经常会不停的敲if, else if, else,其实就已经在用到决策树的思想了。只是你有没有想过，有这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确的定量选择这个标准就是决策树机器学习算法的关键了。1970年代，一个叫昆兰的大牛找到了用信息论中的熵来度量决策树的决...

什么是集成学习？将多个分类方法聚集在一起，以提高分类的准确率。
（这些算法可以是不同的算法，也可以是相同的算法） 集成学习法由训练数据构建一组基分类器，然后通过对所有基分类器的预测投票进行分类。严格来说，集成学习并不算是一种分类器，而是一种分类器结合的方法。通常，一个集成分类器的分类性能会好于单个分类器。如果把单个分类器当作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项...

XGBoost (eXtreme Gradient Boosting)参考： 原理： xgboost入门与实战（原理篇） https://blog.youkuaiyun.com/sb19931201/article/details/52557382 xgboost原理及应用–转 https://www.cnblogs.com/zhouxiaohui888/p/6008368.html调参： ...