前向分布算法、Adaboost算法、提升树算法、梯度提升算法、GBDT(梯度提升决策树)和XGBoost(极限梯度提升)
一、梯度提升算法
梯度提升的概念
提升算法的思想
F(x)为预测函数
L(y,F(x))=1/2(y-F(x))2为平方误差
L(y.F(x))=|y=F(x)|为绝对值误差
F*(x)为使得所有样本平方误差的均值最小的F(x)
提升算法的思路:
首先我们假定F(x)是一族基函数fi(x)的加权和,现在我们要通过M次迭代得到一个最优的F(x),每一次迭代我们就加上一个使得所有样本平方误差之和...
原创
2018-11-22 23:04:26 ·
4163 阅读 ·
1 评论