基于决策树和随机森林的鸢尾花种类预测 通过调整模型参数，我们可以得到不同的分类结果，具体看到代码2的结果，不管是使用信息增益还是gini指数来评估决策树分类结果，对于鸢尾花数据，决策树深度为5的时候的模型结果都会优于深度为3的时候的准确率。通过代码4的运行结果我们可以看到，不管是训练集还是测试集，在depth=2以前该参数对模型准确率的影响都是比较大的，当depth>2时影响变小，而当训练集的决策树深度达到6的时候，模型的准确率就已经来到了100%，当测试集决策树深度达到3时，模型的准确率就已经来到了100%。

阅读 1.4k

21赞

收藏 19
cart算法python实现：从CART算法中学习如何构建有效的决策树 CART（Classification and Regression Tree）算法是一种基于树的机器学习算法，用于分类和回归分析。它使用一种叫做分类和回归树（CART）的决策树结构，通过将数据集分割成多个子集来建立模型。CART（Classification and Regression Tree）算法是一种基于树的机器学习算法，用于分类和回归分析。它使用一种叫做分类和回归树（CART）的决策树结构，通过将数据集分割成多个子集来建立模型。# 将数据集分割成训练集和测试集。# 使用CART算法训练模型。

阅读 747

0赞

收藏 2
机器学习之决策树 ID3和C4.5都是决策树算法，用于分类问题，但它们在特征选择度量、处理数据类型、对缺失值的处理以及剪枝处理方面存在一些差异。ID3对缺失值较为敏感，通常需要额外的处理手段。而C4.5能够通过多种方式处理缺失值，例如使用概率估计来替代缺失值，这提高了算法的鲁棒性。决策树的特点优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配的问题适用数据类型：数值型和标称型决策树停止划分的情况：（1）节点中的样本属于同一类别（2）属性集为空。

阅读 864

33赞

收藏 23
Datawhale西瓜书学习笔记TASK5——决策树 机器学习，周志华，决策树

阅读 868

27赞

收藏 19
机器学习05-决策树（python） 决策树在生活中有广泛的应用，通过逐步判断条件并做出相应选择，可以简化复杂的决策过程。无论是日常穿衣、选择餐厅，还是购买物品，决策树都可以帮助你快速、逻辑清晰地做出决策。这种方式不仅适用于个人决策，也在商业和管理中得到了广泛应用，如客户分类、产品推荐等。信息熵（Entropy）是度量信息的不确定性的一种工具。在机器学习中，信息熵通常用于衡量一个系统或数据集的混乱程度或不确定性。生活中的信息熵与机器学习中的信息熵原理相同，都是用来描述系统中随机性或不确定性的大小。

阅读 3.4k

18赞

收藏 47
深入了解决策树---机器学习中的经典算法 作为机器学习的经典算法，决策树以其直观性和易用性在实际应用中占据重要地位。从分类到回归、从单一模型到集成学习，决策树展现了广阔的适用场景。通过结合剪枝、超参数优化和集成学习，决策树的性能得到了极大提升。未来，随着数据规模和计算能力的增长，决策树仍将是机器学习领域不可或缺的核心技术。决策树是一种兼具可解释性和灵活性的机器学习模型，虽然在面对高维度和复杂数据时表现有限，但其作为集成学习的基础仍然是不可或缺的工具。未来，结合深度学习和自动化超参数调整的技术，将为决策树的应用提供更多可能性。

阅读 5.8k

106赞

收藏 88
机器学习-决策树 是⼀种树形结构，本质是⼀颗由多个判断节点组成的树其中每个内部节点表示⼀个属性上的判断，每个分⽀代表⼀个判断结果的输出，最后每个叶节点代表⼀种分类结果。决策树分类原理信息熵首先先从熵开始理解1从信息的完整性上进⾏的描述当系统的有序状态⼀致时，数据越集中的地⽅熵值越⼩，数据越分散的地⽅熵值越⼤。2从信息的有序性上进⾏的描述当数据量⼀致时系统越有序，熵值越低；系统越混乱或者分散，熵值越⾼。所以信息熵是度量样本集合纯度最常⽤的⼀种指标。信息熵公式：D为样本的所有数量，C。

阅读 939

10赞

收藏 12
【机器学习】西瓜书学习心得及课后习题参考答案—第4章决策树 这一章学起来较为简单，也比较好理解。

阅读 5.0k

7赞

收藏 24
吃瓜教程3——决策树（西瓜书第四章） 信息增益原则对可能取值数目较多的属性有所偏好（例如“编号”这个较为极端的例子，不过其本是原因不是取值数目过多，而是每个区之里面所包含的样本量太少），为减少这种偏好可能带来的不利影响，C4.5决策树选择使用“增益率”代替“信息增益",增益率定义为。将样本类别标记y视作随机变量，各个类别在样本集合D中的占比pk（k = 1,2,...|y|)视作各个类别取值的概率，则样本集合D（随机变量y）的信息熵（底数b去2）为。在已知属性a的取值后y的不确定性减少的量，也即纯度的提升。以信息增益为准则来划分属性的决策树。

阅读 361

0赞

收藏 0
线性代数的学习和整理9：线性代数的本质（未完成） 同构就是这样一个强大的概念，任何维数相同的线性空间之间是同构的，空间的维数是简单而深刻的，简单的自然数居然能够刻画空间最本质的性质。基有无穷个，相应的矩阵有无穷个。在左，你就是基，是空间的根本，是坐标系，是往哪去、能到哪的定海神针，是如来佛手；一个线性空间必定存在基，线性空间的任意元素都可以由基线性表出，且表出方式唯一，这个唯一的表出的组合就是这个元素在这个基下的坐标。有时候需要判定一个线性映射是不是单射，按照定义来还是没那么好证的，这时我们可以从它的核来判定，只要它的核是零，那么这个线性映射必然是单射。

阅读 3.3k

0赞

收藏 3
作者推荐
数据攻城小狮子
获取完整代码之类的直接私信。
关注
沉默的舞台剧
Keep running
关注
小阳不太强
这个Numpy怎么这么卡
关注
`念头通达`
数学仿真工具MathLabTool开发者 https://gitcode.com/xxyjskx1987/MathLabTool
关注
迦勒底御主Z
优质硬件开发领域创作者，内容涵盖多门学科。
关注