通过源码学算法--AdaBoost (CART): RealAdaBoost.m + tree_node_w.m

最新推荐文章于 2018-03-27 20:57:46 发布

windtalkersm

最新推荐文章于 2018-03-27 20:57:46 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：算法备忘

本文链接：https://blog.youkuaiyun.com/windtalkersm/article/details/8739019

本文深入探讨AdaBoost算法，通过源码分析`RealAdaBoost.m`和`tree_node_w.m`。`tree_node_w.m`定义了分类树节点类，每个节点作为弱分类器。在`RealAdaBoost.m`中，初始权重分布被设定，并在循环训练过程中不断调整，每次生成一棵CART树，包含4个节点，每个节点对应一个弱分类器。权重分布根据分类结果动态调整并进行归一化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tree_node_w.m

代表分类树的类结构。很简单，只有5个成员

如果是左树则只有right_constraint有值，如果是右树则只有left_constraint有值

实际上在这里是一个类多用了。

比如一个训练好的最大深度为3（max_split == 3）的CART 树有四个节点(node)，每个节点就是该类tree_node_w的一个object，同时每个节点又是一个弱分类器 (weak classifier)

如果循环训练100次（Max_Iter == 100)，就有100棵CART树，即400个弱分类器。每个分类器都有对应的权重

function tree_node = tree_node_w(max_split)

tree_node.left_constrain  = [];
tree_node.right_constrain = [];
tree_node.dim             = [];
tree_node.max_split       = max_split;
tree_node.parent         = [];

tree_node = class(tree_node, 'tree_node_w') ;

RealAdaBoost.m

权重分布初始化

  Learners = {};
  Weights = [];
  distr = ones(1, length(Data)) / length(Data);  
  final_hyp = zeros(1, length(Data));

循环训练100次

每次得到一个4节点的CART树（也就是4个弱分类器）

最低0.47元/天解锁文章

200万优质内容无限畅学