qq_39538545-优快云博客

原创 Stacking集成学习算法

1 stacking的思路2 代码展示from sklearn import datasetsiris = datasets.load_iris()X, y = iris.data[:, 1:3], iris.targetfrom sklearn.model_selection import cross_val_scorefrom sklearn.linear_model import LogisticRegressionfrom sklearn.neighbors import KNeig

2021-05-13 23:38:05 399

原创 Blending集成学习算法

1 stacking集成算法stacking集成算法可以理解为一个两层的集成，第一层包含有多个基础分类器，把预测的结果（元特征）提供给第二层，而第二层的分类器通常是逻辑回归，把第一层分类器的结果当做特征做拟合输出预测结果。2 Blending集成方式步骤（1）将数据划分为训练集和测试集（test_set），其中训练集需要再次划分为训练集（train_set）和验证集（val_set）（2）创建第一层的多个模型，这些模型可以是同质的也可以是异质的（3）使用train_set训练步骤2中的多个模型，然

2021-05-11 23:06:05 302

原创 XGBoost算法分析与案例调参实例

1 XGBoost原理XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X(Extreme) GBoosted，包括前面说过，两者都是boosting方法。XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。它在Gradient Boosting框架下实现机器学习算法。 XGBoos

2021-04-26 23:16:37 285

原创前向分步算法与梯度提升决策树

1 前向分步算法AdaBoost算法是前向分步加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。2 GBDT梯度提升树（Grandient Boosting）是提升树（Boosting Tree）的一种改进算法，GBDT基于决策树中的回归树，核心原因是GBDT每轮的训练是在上一轮训练模型的负梯度值基础之上训练的。这就要求每轮迭代的时候，真实标签减去弱分类器的输出结果是有意义的，即残差是有意义的。3代码实现import pandas as pdimport matplot

2021-04-23 23:27:24 165

原创 Boosting的思路与adaboost算法

1 boosting的基本思想Boosting方法是使用同一组数据集进行反复学习，得到一系列简单模型，然后组合这些模型构成一个预测性能十分强大的机器学习模型。显然，Boosting思想提高最终的预测效果是通过不断减少偏差的形式，与Bagging有着本质的不同。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后通过一定的形式去组合这些弱分类器构成一个强分类器。大多数的Boosting方法都是通过改变训练数据集的概率分布(训练数据不同样本的权值)，针对不同概率分布的数据调用

2021-04-20 23:11:38 442

原创 bagging学习及案例分析

1 bagging原理分析bagging基于自主采样（bootstrap），采用从数据集中有放回的采样，后基于采样的结果来进行基学习器的学习，由于各个基分类器分别对不同的数据集进行拟合，使得bagging方法在实际操作中是有效的。在预测问题中，baggingg方法将各个分类器的预测值加和平均；在分类问题中，bagging方法选择各个分类器中投票最多的结果。bagging是一种降低方差的技术，在不剪枝决策树以及神经网络等易受样本扰动的模型上效果比较好。bagging的各个分类器之间没有依赖关系，可以进

2021-04-17 13:10:13 973

原创投票法的原理和案例分析

投票法的原理和案例分析1 投票法的定义一个常用的纠错方法是重复多次发送数据，并以少数服从多数的方法确定正确的传输数据。一般情况下，错误总是发生在局部，因此融合多个数据是降低误差的一个好方法。因为投票法是多个结果融合的结果，所以显而易见投票法可以提高模型的泛化误差能力。2 投票法的原理分析（1）对于分类模型1）硬投票所有投票结果最多出现的类2）软投票所有投票结果中加和最大的类（2）对于回归模型预测结果是所有模型结果的平均值3 投票法使用的条件（1）模型之间不能有太大的差异（2）最好

2021-04-12 21:44:01 1663 1

qq_39538545的博客