Scikit-learn从入门到实践:Scikit-learn决策树与随机森林入门

最新推荐文章于 2025-12-21 10:24:33 发布

原创最新推荐文章于 2025-12-21 10:24:33 发布 · 494 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#scikit-learn #决策树 #随机森林

决策树与随机森林：从理论到实践

学习目标

通过本课程的学习，学员将掌握决策树的基本原理，了解如何使用Scikit-learn库构建决策树模型，以及如何通过随机森林算法提高模型的准确性和鲁棒性。本课程将通过理论讲解与实践操作相结合的方式，帮助学员深入理解这些机器学习算法的核心概念。

学习内容

1 Scikit-learn决策树与随机森林

1.1 决策树的基本原理

决策树是一种监督学习算法，广泛应用于分类和回归任务中。它通过递归地分割数据集，形成一系列的决策规则，最终构建出一棵树状结构。每个内部节点表示一个属性上的测试，每个分支代表一个测试结果，而每个叶节点则代表一个类别或数值。

决策树的构建过程

构建决策树的核心在于选择最优的属性进行分割。常见的属性选择度量标准包括信息增益、信息增益比和基尼指数。信息增益是基于信息熵的概念，用于衡量通过属性分割数据集后信息的减少量。信息增益比则是信息增益与该属性的固有值的比值，用于减少信息增益对具有大量值的属性的偏好。基尼指数则衡量了数据集的不纯度，值越小表示纯度越高。

决策树的剪枝

为了防止过拟合，决策树通常需要进行剪枝。剪枝分为预剪枝和后剪枝。预剪枝是在树的构建过程中提前停止树的增长，后剪枝则是先生成一棵完整的树，然后自底向上地对非叶节点进行考察，判断是否可以将其替换为叶节点。剪枝可以有效提高模型的泛化能力。

1.2 使用Scikit-learn构建决策树模型

Scikit-learn是一个强大的机器学习库，提供了丰富的算法实现，包括决策树。下面我们将通过一个简单的例子来演示如何使用Scikit-learn构建决策树模型。

安装Scikit-learn

如果没有安装Scikit-learn，可以通过以下命令进行安装：

%pip install scikit-learn

加载数据集

我们将使用Iris数据集，这是一个经典的多分类数据集，包含150个样本，每个样本有4个特征，分别代表花萼长度、花萼宽度、花瓣长度和花瓣宽度，目标变量是鸢尾花的种类。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

构建决策树模型

接下来，我们将使用DecisionTreeClassifier类来构建决策树模型，并对模型进行训练。

from sklearn.tree import DecisionTreeClassifier

# 创建决策树模型
dt = DecisionTreeClassifier(random_state=42)

# 训练模型
dt.fit(X_train, y_train)

模型评估

训练完成后，我们可以使用测试集对模型进行评估，查看模型的准确率。

from sklearn.metrics import accuracy_score

# 预测
y_pred = dt.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.2f}")

模型准确率: 1.00

1.3 随机森林算法及其应用

随机森林是一种集成学习方法，通过构建多个决策树并取其平均结果来提高模型的准确性和鲁棒性。随机森林通过引入随机性来减少单个决策树的方差，从而提高模型的泛化能力。

随机森林的工作原理

随机森林通过以下两个步骤引入随机性：

数据随机性：每次从原始数据集中有放回地抽取样本，构建多个子数据集。
特征随机性：在每个节点上，从所有特征中随机选择一部分特征进行分割。

使用Scikit-learn构建随机森林模型

Scikit-learn提供了RandomForestClassifier类来实现随机森林算法。下面我们将通过一个例子来演示如何使用随机森林进行分类。

from sklearn.ensemble import RandomForestClassifier

# 创建随机森林模型
rf = RandomForestClassifier(n_estimators=100, random_state=42)

# 训练模型
rf.fit(X_train, y_train)

模型评估

训练完成后，我们同样可以使用测试集对模型进行评估，查看模型的准确率。

# 预测
y_pred = rf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.2f}")

模型准确率: 1.00

通过本课程的学习，学员掌握了决策树的基本原理和构建方法，了解了如何使用随机森林提高模型的性能。