决策树实战：california房价预测

最新推荐文章于 2025-04-22 16:00:00 发布

菩提树上看世界

最新推荐文章于 2025-04-22 16:00:00 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： python 机器学习决策树分类算法

本文链接：https://blog.youkuaiyun.com/ganyongest/article/details/105341620

Python3.7——决策树实战：california房价预测

网上有好多2.*版本的代码但是本地安装的是python3.7版本,在学习中遇到很多问题,有很多地方和2.*版本的不一样，所以记录下来方便参考,侵权必删。

导入模块

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline

加载数据

由于sklearn自带的数据集california_housing在后来的版本中去除了需要自己手动下载数据集，而且数据格式也与之前不一致。
下载地址：链接：https://pan.baidu.com/s/1MED3CmImTSJcPK4lUWuMUQ
提取码：qtb2

house = np.loadtxt('cal_housing.data', delimiter=',')
house_feature_name=pd.read_csv('cal_housing.domain',sep=':',header = None)
house_feature_name=house_feature_name.values #DataFrame转化为数组

创建树模型

from sklearn import tree
dtr = tree.DecisionTreeRegressor(max_depth = 2)
#使用两列的特征进行训练 即传两个参数x, y
dtr.fit(<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

菩提树上看世界

关注关注

1
点赞
踩
18

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python机器学习项目实战:房价预测

AI天才研究院

04-22

918

Python机器学习项目实战:房价预测 1.背景介绍 1.1 房地产行业概况房地产行业是一个巨大且不断增长的市场,它与人们的生活息息相关。准确预测房价不仅对买家和卖家至关重要,对于房地产开发商、银行和政府制定相关政策也具有重要意义。然而

使用KNN、线性回归和决策树进行房价预测

code_program481的博客

09-22

479

综上所述，本文介绍了使用KNN、线性回归和决策树这三种算法进行房价预测的方法，并提供了相应的Python代码实现。通过选择合适的算法和进行适当的数据预处理，我们可以构建准确预测房价的模型，从而在房地产市场中提供有价值的参考。在房地产市场中，准确预测房价是一个重要而复杂的任务。通过上述代码，我们使用了KNN、线性回归和决策树这三种算法进行了房价预测，并计算了它们的均方根误差（RMSE）作为评估指标。现在我们已经准备好数据并进行了预处理，接下来我们将使用KNN、线性回归和决策树这三种算法进行房价预测。

2 条评论您还未登录，请先登录后发表或查看评论

房价预测（基于决策树算法）

最新发布

资深全栈架构师，乐于在优快云分享技术见解，与大家携手共进，共攀技术巅峰！

04-22

1078

为什么随机森林比单一决策树强大得多？答案就在集成学习的’集体智慧’中！Bagging：并行训练多个模型，通过投票或平均得到最终结果Boosting：串行训练模型，每个模型关注前一个模型的错误Stacking：用初级模型的输出作为次级模型的输入随机森林属于Bagging方法的典型代表。“恭喜你！现在你已经掌握了决策树和随机森林的核心原理与实战技巧，这是你机器学习之旅中的重要里程碑！随机森林因其出色的表现和易用性，已成为工业界最受欢迎的算法之一。尝试在Kaggle比赛中应用随机森林。

【决策树算法精讲第05篇】CART算法——基尼指数与回归树

熵数实验室

04-02

1426

基尼指数作为CART分类树特征选择的核心准则，主要用于衡量数据集的纯度。从直观层面理解，它代表了从数据集中随机抽取两个样本，其类别不一致的概率。用数学公式表达如下：在这个公式里，(K)表示数据集的类别总数，(P(Y=y_k))表示样本属于第(k)类别的概率。从公式可以看出，基尼指数越小，意味着数据集中样本的类别分布越集中，即数据集的纯度越高。

Boston_Predict:波士顿房价预测，决策树

05-01

Boston_Predict 波士顿房价预测，决策树

加州房价数据集（california-house-prices）

03-09

加州房价数据集，可以用于数据分析、机器学习和深度学习的学习使用

Python回归预测建模实战-决策回归树预测房价（附源码和实现效果）

数据杂坛

10-26

3730

Python回归预测建模实战-决策回归树预测房价（附源码和实现效果）

【Python机器学习系列】一文教你建立决策树模型预测房价（案例+源码）

数据杂坛

04-01

1333

一文教你建立决策树模型预测房价（案例+源码）

决策树回归预测--波士顿房价

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

06-13

1409

决策树回归预测--波士顿房价

决策树预测房价实例

是木子啦~

06-03

2133

在2的第一行的代码中的datasets中包含一个内置的数据集，本例就用的内置的数据集，是内置数据集中的房价数据集（有一个地区的房子的价格，还有影响房价的因素） 2运行的结果，房价数据集的来源网站和简介。本节课重点是讲库中有哪些参数以及这些参数是干什么的。 5显示，一共有20640条数据，每条数据有8条属性。 7开始讲怎么用构造决策树模型，导入tree模块，预测分类也行，预测回归也行。代表树的深度是2 先看一下树模型的参数第一个代表可以用gini系数，也可以用熵值。 2表示在遍历特征的时候选择.

【Python机器学习】决策树、K近邻、神经网络等模型对Kaggle房价预测实战（附源码和数据集）

showswoller的博客

12-28

2808

【Python机器学习】决策树、K近邻、神经网络等模型对Kaggle房价预测实战（附源码和数据集）

机器学习入门笔记(1):墨尔本房价预测-决策树模型使用

weixin_44604076的博客

01-26

1350

注：本文为Machine Learning 的个人学习笔记，学习站点：Kaggle.com 搭建一个最简单的机器学习模型仅需3步：收集数据，数据清洗；特征工程；模型选择、整合，参数调优；收集数据墨尔本市房产信息数据都存放在这个csv文件里。读取数据 import pandas as pd melbourne_file_path = 'melb_data1.csv' 将c...

加州房价--决策树与随机森林

waterice0717的博客

05-05

720

需要新装包 '''decisionTree 写在前面要安装http://www.graphviz.org/download/ 测试是否安装成功 dot -version 修改环境变量 pip install graphviz 提示：Successfully installed graphviz-0.20 pip install pydotplus ''' #=================================== import matplotlib.pyplot as plt..

Day 3-4的内容为：学习机器学习流程：数据→特征→模型→评估实践：用Scikit-learn实现线性回归预测房价（波士顿数据集）

02-22

<think>好的，用户之前让我帮忙整理过Day3和Day4的学习内容，当时是关于Python基础知识的，比如变量、条件语句、循环、列表等。现在用户又提出了新的请求，希望介绍Day3-4的内容，但这次的内容转向了机器学习流程，包括数据→特征→模型→评估，以及用Scikit-learn实现线性回归预测房价，使用波士顿数据集。首先，我需要确认用户的学习路径是否有变化。之前是Python基础，现在突然切换到机器学习，可能用户是在进行一个为期数周的课程，而第一周的后面几天开始接触机器学习基础。也有可能用户是分阶段学习，先学Python基础，然后快速进入机器学习应用。接下来，用户的需求是介绍这两天的内容，我需要将机器学习流程分到Day3，而实践部分放在Day4。需要确保每个步骤都解释清楚，尤其是对于刚学完Python基础的人来说，可能需要更详细的说明，避免使用过于专业的术语，同时补充示例帮助理解。用户可能刚接触机器学习，所以需要从流程开始讲起，先理解整个流程的步骤，再具体到每个步骤的细节。比如数据部分，需要解释数据集的结构、加载数据的方法、数据预处理的重要性。特征部分，可能需要说明特征选择、特征工程的基本概念，但因为是入门，可能不需要太深入。模型部分，线性回归作为第一个模型，需要解释它的原理，但不用太数学化，重点在应用。评估部分，需要介绍常见的评估指标，如MSE、R²，并解释它们的意义。在实践部分，使用Scikit-learn实现线性回归，波士顿数据集是一个经典数据集，但要注意，波士顿数据集在最新版本的Scikit-learn中已被移除，可能需要用替代数据集，比如加利福尼亚房价数据集，或者提示用户如何处理这个问题。不过用户明确提到波士顿数据集，可能需要保留，但需要给出正确的代码示例，可能需要加载的方法，比如从sklearn.datasets中加载，但可能会遇到问题，所以可能需要使用fetch_california_housing或者提示用户如何解决。另外，用户可能希望看到完整的代码示例，从加载数据、数据预处理、划分数据集、训练模型、预测到评估的整个过程。代码需要注释，并且分步骤解释，同时说明每个步骤的作用。比如，数据标准化部分，可能需要解释为什么需要做标准化，以及StandardScaler的作用。评估部分，需要解释MSE和R²分数的含义，比如MSE越小越好，R²越接近1越好，这样用户能理解结果的好坏。可能还需要注意用户的知识背景，如果之前只学了Python基础，可能需要解释一些库的导入，比如numpy、pandas、matplotlib，但可能用户已经接触过，或者在当前课程中会教。所以可能需要适当提及，但不过多展开。最后，总结部分需要强调机器学习流程的重要性，以及实践中的关键点，比如数据预处理、模型训练和评估，同时鼓励用户动手实践，尝试调整参数或数据，观察结果变化，加深理解。需要检查是否有遗漏的步骤，比如数据分割为训练集和测试集的重要性，避免数据泄露，或者在特征处理中是否需要更多步骤，比如处理缺失值，但波士顿数据集通常比较干净，可能不需要。但可能需要提到在实际项目中数据清洗的步骤，但这里因为是入门示例，可能不需要复杂处理。另外，注意代码的正确性，确保在用户复制粘贴后可以运行，比如正确的导入语句，正确的变量名，以及正确的函数使用。比如，LinearRegression的fit方法，predict方法的使用，评估指标的计算等。</think>以下是为第一周 **Day3** 和 **Day4** 整理的机器学习流程与实践内容讲解，分知识点详细说明并附加示例： --- ### **Day3 学习内容：机器学习流程** #### **1. 数据（Data）** - **概念**：数据是机器学习的核心输入，通常分为**特征（X）**和**标签（y）**。 - **常见数据集结构**： - 表格型数据（如CSV文件），每行代表一个样本，每列代表一个特征。 - **示例**（波士顿房价数据集）： - 特征：房屋面积、房间数量、地理位置等。 - 标签：房屋价格。 - **关键操作**： ```python from sklearn.datasets import load_boston data = load_boston() X = data.data # 特征矩阵 y = data.target # 标签（房价） ``` --- #### **2. 特征处理（Feature Engineering）** - **目标**：将原始数据转换为适合模型训练的格式。 - **常见步骤**： - **标准化**：消除特征量纲差异（如 `StandardScaler`）。 - **缺失值处理**：删除或填充缺失数据。 - **示例**（标准化）： ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 标准化后的特征 ``` --- #### **3. 模型（Model）** - **概念**：从数据中学习规律的算法，例如线性回归、决策树等。 - **线性回归原理**：拟合特征与标签之间的线性关系（公式：`y = w1*x1 + w2*x2 + ... + b`）。 - **模型训练**：通过优化算法（如梯度下降）找到最佳参数 `w` 和 `b`。 - **代码示例**： ```python from sklearn.linear_model import LinearRegression model = LinearRegression() # 初始化模型 model.fit(X_scaled, y) # 训练模型 ``` --- #### **4. 评估（Evaluation）** - **目标**：衡量模型预测效果，常用指标： - **均方误差（MSE）**：预测值与真实值的平均平方误差（越小越好）。 - **R²分数**：模型解释数据变动的比例（越接近1越好）。 - **示例**： ```python from sklearn.metrics import mean_squared_error, r2_score y_pred = model.predict(X_scaled) mse = mean_squared_error(y, y_pred) # 计算MSE r2 = r2_score(y, y_pred) # 计算R² ``` --- ### **Day4 学习内容：Scikit-learn实战（波士顿房价预测）** #### **1. 完整代码示例** ```python # 1. 加载数据 from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score data = load_boston() X = data.data y = data.target # 2. 划分训练集和测试集（注意：波士顿数据集在较新版本中已移除，可替换为其他数据集） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 3. 特征标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 4. 训练模型 model = LinearRegression() model.fit(X_train_scaled, y_train) # 5. 预测与评估 y_pred = model.predict(X_test_scaled) print("MSE:", mean_squared_error(y_test, y_pred)) print("R² Score:", r2_score(y_test, y_pred)) ``` --- #### **2. 关键点解释** - **数据划分**：`train_test_split` 将数据分为训练集（80%）和测试集（20%），避免模型“死记硬背”。 - **标准化**：训练集用 `fit_transform`，测试集用 `transform`，防止信息泄漏。 - **模型预测**：用测试集评估泛化能力，而非训练集。 --- #### **3. 输出结果示例** ``` MSE: 24.291 R² Score: 0.668 ``` - **解读**：模型能解释约66.8%的房价变动，仍有优化空间（如特征选择、尝试其他模型）。 --- #### **4. 扩展思考** - **问题1**：如果MSE很高，可能是什么原因？ - 答案：特征不足、数据噪声大、模型不适合（如非线性关系用线性模型）。 - **问题2**：如何改进模型？ - 答案：添加多项式特征、使用正则化（岭回归）、尝试树模型（如决策树）。 --- 通过这两天的学习，可以掌握机器学习从数据到模型的核心流程，并通过实际代码理解各环节的作用。后续可尝试替换数据集（如糖尿病预测）或调整参数深化理解。