本文介绍了决策树的常用启发函数，如ID3的最大信息增益、C4.5的信息增益比和CART的最大基尼系数。讨论了决策树的剪枝策略，包括预剪枝和后剪枝。接着讲解了GBDT的基本原理，以及Xgboost与GBDT的区别。此外，还概述了深度学习优化算法，如Batch Gradient Descent、Stochastic Gradient Descent和Adagrad，并对比了L1和L2正则化的差异。
16.决策树有哪些常用的启发函数？如何对决策树进行剪枝？
引言
决策树是一种自上向下，对样本数据进行树形分类的过程。结点分为内部结点和叶节点。每个内部结点代表一个特征，叶节点代表类别。从顶部根节点开始，所有样本聚在一起。经过根节点的划分，样本被划分到不同子节点，再根据子节点特征进一步划分，直到所有样本都被归到某一个类别(叶节点)。
决策树可用于分类与回归问题，应用于集成学习可得到随机森林、GBDT等模型。简单直观、可解释性强。
决策树的生成过程包含了特征选择、树的构造、树的剪枝三个过程。
我们既希望决策树能够拟合数据，有良好分类效果。也希望控制复杂度，有一定泛化效果。
常见决策树算法有ID3、C4.5、CART
ID3----最大信息增益
所谓的最大信息增益是指选择能够带来最大的信息增益的那个特征
信息熵是衡量样本集合纯度最常用的方法。
对于样本集合D，类别数为K，其中 C k C_k Ck是D中第k类的样本子集，| C k C_k Ck|是该子集元素个数，|D|表示样本中元素个数。信息熵表示为：
E n t ( D ) = − ∑ k = 1 K ∣ C k ∣ ∣ D ∣ l o g 2 ∣ C k ∣ ∣ D ∣ Ent(D) = -\sum_{k=1}^{K}\frac{|C_k|}{|D|}log_2\frac{|C_k|}{|D|} Ent(D)=−∑k=1K∣D∣∣Ck∣log2∣D∣∣C
最低0.47元/天 解锁文章
扫一扫
72
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
