决策树算法——拟合优化

最新推荐文章于 2025-04-07 09:00:00 发布

原创

最新推荐文章于 2025-04-07 09:00:00 发布 · 4.1k 阅读

35 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #python #机器学习

本文介绍了决策树算法的原理，包括CART和ID3算法，并探讨了如何寻找决策树的最优参数。通过泰坦尼克号数据集，展示了手动调整和使用内置函数确定最佳树深度的过程，得出深度为3时的决策树具有较好的拟合效果。

一、决策树算法原理

上一篇文章简单、直接、粗暴的使用了决策树算法对鸢尾花数据集进行分类，关于决策树算法的原理，以我的理解：就是用能最大概率的区分不同类别标签的特征值作为分裂节点。

常用的算法是：CART 和 ID3 算法。

CART 算法采用gini系数最小的来决定使用哪种特征来进行分裂；
ID3算法采用信息增益最大的特征来决定使用哪种特征来进行分裂；

二、决策树的最优参数

这次的数据集使用稍微复杂一点的泰坦尼克号预测生死的数据。
重复的代码不啰嗦，直接上

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data=pd.read_csv(r'data.csv',index_col=0)
data.drop(['Cabin','Name','Ticket','Embarked'],inplace=True,axis=1)
data['Age']=data['Age'].fillna(data['Age'].mean())
data=data.dropna()
data['Sex']=data['Sex']<