KKT

今天给大家讲xgboost，这是一个非常优秀的算法，在各大回归类的人工智能竞赛中，经常可以在榜首看到这个算法的身影。前面我们已经讲了决策树，提升树（BoostingDecision Tree）是迭代多棵决策树来共同决策，当采用平方误差作为损失函数的时候，每一棵树学习的是之前所有树之和的残差值，残差=真实值-预测值。比如A的年龄是18岁，第一棵树的预测值是13岁，与真实值相差了5岁（就是我们说的残差），那么第二棵树的预测目标就是5岁，如果第二棵树的预测结果是5岁，那么两棵树的预测值相加就是18岁，即A的真

今天给大家介绍一个非常经典的分类算法------随机森林之前我们讲的决策树算法，就是通过每一次选择最优的特征，对数据集进行分类，最终实现可以尽量正确的分类所有的数据集。但是如果分类的效果不是那么好呢？那就用到了我国古人说的一句话：三个臭皮匠，赛过诸葛亮。我们引用西瓜书上面的一个例子：在二分类任务中，假如三个分类器h1、h2、h3在三个测试样本上的表现如下表格1所示，最后的集成学习的结果用三个分类器的投票结果产生，即“少数服从多数”，表1中每一个单独的学习器都只有66.6%的精度，但是最终的集成学习结

前面我们已经给大家讲了决策树，基本思路还是比较好理解的，就是多次根据条件进行划分，比如我们之前讲过的相亲的例子，根据对方的各种条件，决定是否去相亲。我们现在考虑另外一种情况，就是假如我们女主相亲了16个对象，每次相亲回来之后都会对男方进行打分，而不是简单的评价是否满意。这样我们就会有一堆样本，我们现在想要建立一个决策树，直接预判下一个相亲对象（已知其各项条件）可能会被打多少分。这个就是我们今天要讲的回归树。为了简化问题，我们就将男方条件简化为只有一个：身高（女主是个身高控，只看身高进行打分）。这是我

原理知道一百遍不如自己动手写一遍，当然，现在基本上不需要自己来写算法的底层code了，各路大神们已经为我等凡夫俗子写好了，直接调用就行。这里介绍在MATLAB中和Python中应用贝叶斯算法的小例子。一、 matlab实现朴素贝叶斯算法先load matlab中自带的数据集load fisheririsX = meas(:,3:4);Y = species;tabulate(Y)%返回概率表格接下来用朴素贝叶斯算法进行拟合，大家可以注意下matlab的机器学习算法的命名规则，都是以’fit

先说这个算法的名字，英文原名为””NaiveBayes”，Naive是天真，Bayes这里代表的是贝叶斯定理，当然了贝叶斯定理就是根据英国数学家托马斯·贝叶斯的名字来的。我们先说贝叶斯定理，假如我们想通过一个人的衬衫颜色和是否背双肩包来判断他的职业，是销售还是程序员。这是求在已知衬衫颜色和是否背双肩包来求此人职业是程序员的概率，P（程序员|衬衫，双肩包）。根据贝叶斯公式，*P(A|B)=P(B|A)P(A)/P(B)。这个公式的意义就是将根据属性(B)求职业概率(A)和经验里已知职业(A)时各属性(

1、matlab实现决策树（默认用基尼系数来划分属性）A创建分类决策树或回归决策树load carsmall % matlab自带数据，可以直接运行。数据包含变量：Horsepower, Weight, MPGX = [Horsepower Weight];rtree = fitrtree(X,MPG); % 生成决策树：回归树view(ctree,'Mode','graph') % 查看决策树load fisheriris %matlab自带数据，可以直接运行。% load样本数据ctre

1. 决策树我们在生活中总会面临很多选择，比如这个股票看起来还可以，买or不买？我们可以知道这个股票的一些信息：比如大股东刚刚增持，比如市盈率很低（市场上普遍认为同等其他条件下，市盈率更低的股票性价比更高），比如前几天有过一次涨停，比如别的股票都跌的时候这个股票抗跌。。。。等等，我们需要根据这些条件最后做出选择：买（或者不买）。又比如作为一个单身女青年，你妈有一天突然问你要不要去相亲，然后把男方的条件告诉你，身高180，体重180，长相帅气，年薪20万。。。。等等，你需要根据这些条件判断到底去不去相亲？

我们知道SVM的基本原理就是找一个超平面（广义平面）将样本分为几个部分，即分类。MATLAB中自带SVM包，使用起来也十分方便，假如X是特征矩阵，Y是分类标签（可以是数值（1、2）也可以是string，总之有区别就行。）二分类代码SVMModel = fitcsvm(X,y) %训练分类器CVSVMModel = crossval(SVMModel); %分类器的交叉验证classLoss = kfoldLoss(CVSVMModel)% 样本内错误率[~,score] = predict