weixin_44729223的博客

1.概述 提升(boosting)是一个机器学习技术，可以用于分类以及回归问题，可以在每一步中产生一个弱预测模型，并且将每个弱预测模型通过加权累加到总模型中。如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升(gradient boosting)。 而梯度提升算法则会首现给定一个目标损失函数，它的定义域是所有可行的弱函数集合（也被称为基函数），提升算法通过迭代地选择一个负梯度方...

1.总概述 决策树(desicion tree)是一种树形结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一个类别。 决策树以实例为基础进行归纳学习。其采用自上而下的递归方式，基本思路是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点时熵值应该下降为零。此时每个叶节点中包含的实例都为同一类。 2.信息熵 2.1熵 熵 (entropy) 这一概念来源于热力学...