《决策树与随机森林：模型选择与随机森林决策树数量的优化》 例如，假设我们有一个包含个样本的训练集，在构建随机森林的每一棵决策树时，我们通过自助采样抽取个样本（有些样本可能会被多次抽取，有些可能不会被抽取），这样得到的训练集称为自助样本集。例如，在一个简单的根据天气状况决定是否进行户外运动的决策树中，可能首先会根据是否下雨来划分，然后对于不下雨的情况，再根据温度等其他因素进一步划分。假设我们有一个数据集，特征集，对于节点，选择一个最优的特征来划分数据集，划分后的子集为和，这个选择是基于信息增益（分类问题）或者平方误差最小化（回归问题）等准则。

阅读 862

19赞

收藏 16
《Python星球日记》 第46天：决策树与随机森林 《Python星球日记》 第46天：决策树与随机森林

阅读 653

7赞

收藏 6
深度探索：机器学习梯度提升决策树（GBDT）算法原理及其应用 梯度提升决策树（GBDT）作为集成学习领域的经典算法，凭借其高精度、鲁棒性和可解释性，在实际应用中展现出强大的竞争力。尽管面临过拟合风险、计算成本高等问题，但通过合理的参数调整、正则化策略以及与其他模型的集成，GBDT在各类回归和分类任务中持续发挥重要作用。随着计算硬件的发展和算法的持续优化，GBDT有望在更大规模、更高维度、更复杂结构的数据上展现更强的性能。同时，结合深度学习、自动机器学习等先进技术，GBDT将持续推动机器学习技术的进步，为各行各业的数据驱动决策提供有力支持。

阅读 1.1w

22赞

收藏 30
一篇入门之-评分卡变量分箱（卡方分箱、决策树分箱、KS分箱等）实操例子 最大KS分箱是基于KS值来进行分箱的一种方法，它先把所有样本初始化为一个分箱，然后根据KS点对分箱不断切割，直到数据分为n个分箱。它们都属于自动分箱方法，其中，卡方分箱是实际中最常用的分箱方法。最后，还需要审查一下业务逻辑是否合理，仔细看下每个分箱(第2列)与对应的badrate是不是符合业务逻辑，如果业务逻辑不合理，那赶紧检查问题，如果业务逻辑合理，那就过关啦！卡方分箱是基于卡方值进行分箱的一种方法，卡方分箱先初始化m个分箱，卡方分箱用卡方值判断哪两个分箱的类别分布最没区分度，就合并哪两个分箱。

阅读 799

21赞

收藏 9
专题三：穷举vs暴搜vs深搜vs回溯vs剪枝（全排列）决策树与递归实现详解 给一个数组，列出它的全排列。

阅读 1.0k

16赞

收藏 7
决策树id3和cart 一.决策树组成决策树由结点和有向边组成。结点有两种类型：内部结点（圆）和叶结点（矩形）。其中，内部结点表示一个特征（属性）；叶结点表示一个类别。而有向边则对应其所属内部结点的可选项（属性的取值范围）。在用决策树进行分类时，首先从根结点出发，对实例在该结点的对应属性进行测试，接着会根据测试结果，将实例分配到其子结点；然后，在子结点继续执行这一流程，如此递归地对实例进行测试并分配，直至到达叶结点；最终，该实例将被分类到叶结点所指示的结果中。

阅读 865

10赞

收藏 25
决策树 & GBDT & XGBoost & LightGBM 如果一棵树的叶子节点过多，说明它可能已经学习了训练数据中的很多细节甚至是噪音，这种现象通常被称为过拟合。C4.5并没有直接偏向于取值少的特征，而是通过分裂信息来调整信息增益，使得特征的基数大小影响其最终的选择概率。这种方法旨在纠正信息增益对于取值较多特征的偏爱，通过将信息增益与特征自身的熵相除来惩罚那些拥有大量取值的特征。该回归树不是去做分类，而是用回归树去。组合在一起，每一轮都“纠正”上一轮的错误，最终得到一个强大的集成模型。前一轮训练出的模型，而是通过样本权重的改变，间接地反映之前模型的表现。

阅读 834

10赞

收藏 9
【第二篇章】优秀的机器学习策略 超参数优化之决策树 在机器学习的浩瀚星空中，决策树作为一颗璀璨的星辰，以其直观易懂、解释性强以及高效处理分类与回归任务的能力，赢得了众多数据科学家与工程师的青睐。随着大数据时代的到来，如何从海量数据中提炼出有价值的信息，构建出既准确又可靠的预测模型，成为了机器学习领域不断探索的热点。而决策树，作为这一探索旅程中的重要工具，其背后的超参数调整与优化策略，更是直接关系到模型性能的优劣。【第二篇章】的开启，我们聚焦于“优秀的机器学习策略”，旨在深入挖掘那些能够引领模型性能飞跃的关键要素。

阅读 2.5k

90赞

收藏 10
决策树在Python中的应用 关于人工智能大模型方面的应用，决策树已经是一种非常基础的模型，但在某些特定的场景下，它仍然可以被用来解决一些问题。例如，如果我们需要根据用户的行为和偏好推荐产品，那么决策树可能是一个很好的选择。在实际应用中，我们可能需要对数据进行预处理，调整模型的参数，或者尝试不同的模型来找到最好的结果。4. 训练模型：现在，我们可以使用我们的数据来训练决策树模型。1. 导入所需的库：首先，我们需要导入我们需要使用的库，包括numpy、pandas和sklearn。6. 评估模型：我们需要评估我们的模型的性能。

阅读 507

7赞

收藏 6
Python 机器学习 决策树 数值型特征的处理 Python 机器学习中，特征提取是将原始数据转换为能够被模型有效利用的格式的过程。对于决策树模型而言，特征提取尤其重要，因为好的特征可以显著提升模型的预测性能。在实际应用中，需要根据具体情况选择合适的特征提取方法。数值型特征是机器学习中常见的一种特征类型，它指的是可以表示为数字的特征。特别是在构建决策树模型时，对数值型特征的处理是一个重要步骤。决策树能够直接处理数值型数据，但如何有效地利用这些数值型特征对模型的性能有重要影响。

阅读 1.5k

28赞

收藏 30
作者推荐
诺克提斯王子
测控仪器科学与技术专业领域作者，大学课程资料提供者。
关注
椰奶叶奈法
财经大学本科生一枚
关注
沉默的舞台剧
Keep running
关注