决策树_机器学习

目录

1. 决策树概述

1.1 什么是决策树？

1.2 Sklearn 中的决策树

2. Sklearn 决策树的实现

2.1 基本使用流程

1. 导入库

2. 加载数据并拆分训练集、测试集

3. 训练决策树模型

4. 评估模型

5. 画出决策树

3. 剪枝参数 - 防止过拟合

4. 特征重要性分析

5. 代码示例：不同数据集上的决策树表现

5.1 生成数据集

6. 完整使用代码示例

7. 结论与建议

---

1. 决策树概述

1.1 什么是决策树？

决策树（Decision Tree）是一种 非参数的监督学习方法，用于 分类和回归任务。其基本思想是通过数据特征的 条件划分 构建树状结构，使决策过程更加直观。

• 根节点（Root Node）：数据集的起点，包含所有样本。
• 内部节点（Internal Node）：依据特定特征进行分裂。
• 叶子节点（Leaf Node）：最终的分类或回归结果。

决策树的优点：

• 易于理解和可视化
• 不需要特征标准化
• 能够处理数值型和类别型特征
• 适用于特征重要性分析

1.2 Sklearn 中的决策树

在 Sklearn 中，决策树相关的类都在 sklearn.tree 模块下，包括：

• DecisionTreeClassifier：用于分类任务
• DecisionTreeRegressor：用于回归任务
• export_graphviz：导出决策树结构
• ExtraTreeClassifier / ExtraTreeRegressor：高随机版本

---

2. Sklearn 决策树的实现

2.1 基本使用流程

1. 导入库

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

说明: tree 模块包含了 Sklearn 提供的决策树方法，load_wine 是一个示例数据集，train_test_split 用于数据集拆分。

2. 加载数据并拆分训练集、测试集

# 如果使用默认数据集（如 wine 数据集）
#from sklearn.datasets import load_wine
#data = load_wine()
#X, y = data.data, data.target

# 使用自己的数据集
X, y = your_d