【机器学习】十大算法之一 “决策树”

最新推荐文章于 2024-04-30 15:43:14 发布

原创

最新推荐文章于 2024-04-30 15:43:14 发布 · 3.1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #python #决策树

本文详细介绍了决策树算法，包括其简介、发展史、算法原理（信息增益、信息增益比、基尼指数）、功能特点以及使用Python的sklearn库实现分类示例，展示了其在机器学习中的重要性和实用性。

作者主页：爱笑的男孩。的博客_优快云博客-深度学习,活动,python领域博主爱笑的男孩。擅长深度学习,活动,python,等方面的知识,爱笑的男孩。关注算法,python,计算机视觉,图像处理,深度学习,pytorch,神经网络,opencv领域.https://blog.youkuaiyun.com/Code_and516?type=blog个人简介：打工人。

持续分享：机器学习、深度学习、python相关内容、日常BUG解决方法及Windows&Linux实践小技巧。

如发现文章有误，麻烦请指出，我会及时去纠正。有其他需要可以私信我或者发我邮箱:zhilong666@foxmail.com

决策树算法是机器学习中最常用的算法之一，是一种基于树结构的分类方法。

本文将详细讲解机器学习十大算法之一“决策树”

一、简介

传统的机器学习算法通常是根据数据来寻找模型、寻找关于数据的规律或者说是特征，是一种第一步是给定数据，然后在学习过程中发现一个模型用来描述这些数据的算法。与此不同的是，决策树则是一种将自主变量切分成不同数据集最优方法的算法，具有易于理解、易于解释、能够处理缺失数据、可处理不连续型数据、简单性、目标变量存在非线性关系的优点，因此被广泛应用于数据挖掘、机器学习等领域。

二、发展史

决策树算法的历史可以追溯到20世纪50年代，在早期的决策分析和运筹学领域中，决策树算法被广泛应用与研究。1960年代时，经过了卡方检验的热门统计学家卡尔泽瑞斯（C.T.C. Chou）开创了利用朴素贝叶斯和决策树理论解决分类问题的先河。

到了1970年代，决策树算法开始被广泛地应用于数据挖掘领域。最早的决策树算法是ID3算法，由Ross Quinlan在1986年提出，用于自动学习从给定数据集中选择最佳特征以分类新对象的决策树。之后，在1993年，Quinlan又提出了C4.5算法，该算法相比ID3算法，对缺失数据的处理及连续属性的处理更加优秀，而且在分类准确率和树的规模之间平衡更好，是一款十分优秀的分类算法。

在2000年之后，随着计算机性能的提高，以及机器学习领域的快速发展，决策树算法也得到了广泛的应用，并且出现了许多改进的算法，例如 CART算法，C5.0算法等。