机器学习初学阶段记录，决策树回归模型

l_eon_liu

于 2022-10-28 22:40:00 发布

阅读量260

点赞数

CC 4.0 BY-SA版权

文章标签：机器学习决策树 python

本文链接：https://blog.youkuaiyun.com/manjusaka0oo/article/details/127580575

博客围绕波士顿房价预测数据集展开，指出单一决策树存在问题，实际应用中需采用集合算法。常用集合模型有Boosting类（如AdaBoost、GBDT）和Bagging类（如自助聚合、随机森林）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

波士顿房价预测数据集

import numpy as np
import sklearn.model_selection as ms
import sklearn.datasets as sd
import sklearn.tree as st
import sklearn.metrics as sm

boston = sd.load_boston()

train_x, test_x, train_y, test_y = ms.train_test_split(boston.data, boston.target, test_size=0.1, random_state=6) 
#单一决策树模式

model = st.DecisionTreeRegressor()
model.fit(train_x,train_y)
pre_test_y = model.predict(test_x)
pre_train_y = model.predict(train_x)

print('训练集:',sm.r2_score(train_y,pre_train_y))
print('测试集:',sm.r2_score(test_y,pre_test_y))

单一决策树，导致结果，

训练集: 1.0
测试集: 0.5702898340388913

实际使用集合算法

。常用的集合模型包括Boosting类模型（AdaBoost、GBDT）与Bagging（自助聚合、随机森林）类模型。