17- 梯度提升回归树GBRT (集成算法) (算法)

梯度提升回归树:

• 梯度提升回归树是区别于随机森林的另一种集成方法，它的特点在于纠正与加强，通过合并多个决策树来构建一个更为强大的模型。
• 该模型即可以用于分类问题，也可以用于回归问题中。
• 在该模型中，有三个重要参数分别为 n_estimators(子树数量)、learning_rate(学习率)、max_depth(最大深度)。
  • n_estimators  子树数量:  通常用来设置纠正错误的子树数量，梯度提升树通常使用深度很小(1到 5之间)的子树，即强预剪枝，来进行构造强化树。并且这样占用的内存也更少，预测速度也更快。
  • learning_rate  学习率:  通常用来控制每颗树纠正前一棵树的强度。较高的学习率意味着每颗树都可以做出较强的修正，这样的模型普遍更复杂。
  • max_depth  最大深度:  通常用于降低每颗树的复杂度，从而避免深度过大造成过拟合的现象。梯度提升模型的 max_depth 通常都设置得很小，一般来讲不超过5。

• 梯度提升决策树是监督学习中 最强大也是最常用 的模型之一。

• 该算法无需对数据进行缩放就可以表现得很好，而且也适用于二元特征与连续特征同时存在的数据集。

• 缺点是需要进行仔细调参，且训练时间可能较长，通常不适用于高维稀疏数据。

单一KNN算法:         # knn近邻算法: K-近邻算法（KNN)

from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier()
knn.fit(X_train,y_train)

KNN集成算法: 

from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import BaggingClassifier
# 100个算法，集成算法，准确提升到了73.3%
knn = KNeighborsClassifier()
# bag中100个knn算法
bag_knn = BaggingClassifier(base_estimator=knn, n_estimators=100, max_samples=0.8,
                            max_features=0.7)
bag_knn.fit(X_train,y_train)
print('KNN集成算法，得分是：', bag_knn.score(X_test,y_test))

逻辑斯蒂回归集成算法:

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import BaggingClassifier
bag = BaggingClassifier(base_estimator=LogisticRegression(),n_estimators=500,
                        max_samples=0.8, max_features=0.5)
bag.fit(X_train,y_train)

决策树集成算法:

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier
bag = BaggingClassifier(base_estimator=DecisionTreeClassifier(),n_estimators=100,
                        max_samples=1.0,max_features=0.5)
bag.fit(X_train,y_train)