16、树算法与集成学习

树算法与集成学习

一、优化决策树性能

为了优化决策树的性能，我们可以使用 GridSearchCV 。具体操作步骤如下：
1. 实例化决策树 ：

from sklearn.tree import DecisionTreeClassifier
dtc = DecisionTreeClassifier()

2. 实例化并训练 GridSearchCV ：

from sklearn.model_selection import GridSearchCV, cross_val_score
param_grid = {'criterion':['gini','entropy'], 'max_depth' : [3,5,7,20]}
gs_inst = GridSearchCV(dtc,param_grid=param_grid,cv=5)
gs_inst.fit(X_train, y_train)

在参数网格 param_grid 中，我们改变了分裂评分标准（基尼指数和信息熵）以及树的最大深度。
3. 在测试集上评估准确率 ：

from sklearn