qq_44971458的博客

XGBoost算法XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。• XGBoost的基学习器除了可以是CART（这个时候就是GBDT）也可以是线性分类器，而GBDT只能是CART。• XGBoost的目标函数的近似用了二阶泰勒展开，模型优化效果更好。• XGBoost在代价函数中加入了正则项，用于控制模型的复杂度(正则项的方式不同，如果你仔细点话，GBDT是一种类

随机森林指的是利用多棵树对样本进行训练并预测的一种分类器随机森林的原理在机器学习中，随机森林是一个包含多个决策树的分类器根据下列算法而建造每棵树：用N来表示训练用例（样本）的个数，M表示特征数目。输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据这m

Scikit-learn最早由数据科学家David Cournapeau 在2007 年发起，需要NumPy和SciPy等其他包的支持，是Python语言中专门针对机器学习应用而发展起来的一款开源框架。作为专门面向机器学习的Python开源框架，Scikit-learn可以在一定范围内为开发者提供非常好的帮助。它内部实现了各种各样成熟的算法，容易安装和使用，样例丰富，而且教程和文档也非常详细。线性回归模型(linear-reggration)是机器学习中最基础也是最简单的算法。主要是拟合y =