bb8886的博客

Adaboost算法是一种常用的集成学习算法，解决的是二分类问题，它可以将多个弱分类器（比如决策树）组合成一个强分类器。其基本思想是通过对数据集进行加权和重复训练来提高分类器的准确性。

是Bagging的一个扩展变体。RF在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中即随机采样一些特征（也就是列），这样的好处是可以避免一定的过拟合，更大的增加每一颗决策树之间的差异性。

决策树--CART分类树详解以及最优划分节点的选择例子

CART回归树算法详解+最优划分点选择例题详解

分类决策树算法详解以及确定最优划分点例题详解

xgboost实战之保险预测

7、Adj.R-suquared：它在R-squared的基础上，加入了一个“惩罚项”，当向现有模型加入一个“无关自变量”时，Adj.R-suquared会给这个“无关自变量”一个惩罚，从而使得Adj.R-suquared的值不一定增加，防止了“虚假提升信息的产生”。在本次实战中，通过模型反馈的F统计值<F的理论值，说明模型是通过显著性检验的，说明需要拒绝原假设（即认为模型的所有回归系数都不全为0），但模型的显著性通过检验并不代表每个变量都对因变量是重要的，所以还需要进行偏回归系数的显著性检验。

xgboost预测房价，并解释了xgboost的详细参数

GBDT的代价函数中是没有正则项。叶子结点的值用ω表示，我们假设 15 这个叶节点用 ω1 表示，12 这个叶子结点用 ω2 表示，20 这个叶子结点用 ω3 表示。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数。（4）考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率。为缺失值（或者指定的值未出现的值）指定分支的默认方向，预测时自动将缺失值的划分到这一分支。

参数设置：学习率：learning_rate=0.1，迭代次数：n_tree=5，树的深度：max_depth=2（max_depth=3的计算方式一样）。步骤四：更新学习器（f_1 = f_0+0.1*γ）并计算构建残差（res2 = res1-0.1*γ）作为标签值训练第二棵树。从年龄特征的5开始，到体重特征的70结束，分别计算分裂后两组数据的平方损失，左节点平方损失为。由上面最后一个表格，根据测试数据age=25，weight=65，找到id为2对应的f_5值，为1.5876。

GBDT知识点详解：包括Gradient Boosting和CART