线性回归-波士顿房价预测

本文介绍用线性回归解决波士顿房价预测问题。先导入包并加载数据集,查看数据类型、是否有空值及描述信息;接着分析数据,计算特征与房价的相关系数,画出相关系数大于0.5的特征散点图;然后建立模型;最后用LASSO降维找到重要特征,重新运行线性回归。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这篇文章介绍用线性回归解决波士顿房价的预测问题,线性回归的原理部分参见线性回归博客。

一、了解数据

首先导入需要的包

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn import metrics
from sklearn import preprocessing

加载波士顿房价的数据集

data = load_boston()
data_pd = pd.DataFrame(data.data,columns=data.feature_names)
data_pd['price'] = data.target

在拿到数据之后,先要查看数据的类型,是否有空值,数据的描述信息等等。

# 查看数据类型
data_pd.get_dtype_counts()

可以看到数据都是Int类型

接下来要查看数据是否存在空值,从结果来看数据不存在空值。

# 查看空值
data_pd.isnull().sum()

# 查看数据大小
data_pd.shape

接下来查看数据的描述信息,在描述信息里可以看到每个特征的均值,最大值,最小值等信息。

# 查看数据描述
data_pd.describe()

查看数据前5行,同时给出数据特征的含义

# 显示数据前5行
data_pd.head()

二、分析数据

计算每一个特征和price的相关系数

data_pd.corr()['price']

将相关系数大于0.5的特征画图显示出来:

corr = data_pd.corr()
corr = corr['price']
corr[abs(corr)>0.5].sort_values().plot.bar()

可以看出LSTAT、PTRATIO、RM三个特征的相关系数大于0.5,下面画出三个特征关于price的散点图。

可以看出三个特征和价格都有明显的线性关系。

三、建立模型

首先制作训练集和测试集

# 制作训练集和测试集的数据
data_pd = data_pd[['LSTAT','PTRATIO','RM','price']]
y = np.array(data_pd['price'])
data_pd=data_pd.drop(['price'],axis=1)
X = np.array(data_pd)
# 分割训练集和测试集
train_X,test_X,train_Y,test_Y = train_test_split(X,y,test_size=0.2)
# 加载模型
linreg = LinearRegression()
# 拟合数据
linreg.fit(train_X,train_Y)
# 进行预测
y_predict = linreg.predict(test_X)
# 计算均方差
metrics.mean_squared_error(y_predict,test_Y)

 最后的误差是

四、用LASSO进行降维,找到最重要的特征

# 导包
from sklearn.linear_model import Lasso,LassoCV,LassoLarsCV
from sklearn.metrics import r2_score

# 重新加载数据
data = load_boston()
X = pd.DataFrame(data.data,columns=data.feature_names)
y = np.array(data.target)

# 分割训练集和测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=14)

# 找到Lasso的alapha值
model = LassoCV(cv=20).fit(X, y)

# 进行Lasso回归
lasso = Lasso(max_iter=10000, alpha=model.alpha_)
y_pred_lasso = lasso.fit(X_train, y_train).predict(X_test)

# 输出Lasso系数
lasso.coef_

可以看到系数大于0.5的有4个特征LSTAT、PTRATIO、RM、DIS其中DIS是上面相关性分析没有的特征,将这个特征加入,重新运行线性回归。

# 制作训练集和测试集的数据
data_pd = data_pd[['LSTAT','PTRATIO','RM','DIS','price']]
y = np.array(data_pd['price'])
data_pd=data_pd.drop(['price'],axis=1)
X = np.array(data_pd)
train_X,test_X,train_Y,test_Y = train_test_split(X,y,test_size=0.2)

# 训练模型,并重新计算均方差
linreg = LinearRegression()
linreg.fit(train_X,train_Y)
y_predict = linreg.predict(test_X)
metrics.mean_squared_error(y_predict,test_Y)

最后的误差为

 

<think>嗯,用户想了解如何使用线性回归进行波士顿房价预测的应用实例教程。首先,我需要回忆一下线性回归的基本概念波士顿房价数据集的特点。线性回归是监督学习中的一种,用于建立自变量因变量之间的线性关系模型。波士顿房价数据集包含多个特征,比如犯罪率、房间数量等,目标变量是房价中位数。 接下来,用户可能需要具体的步骤指导。根据引用中的信息,实验三相关的博客文章提到了数据预处理、模型构建、训练评估等步骤。我需要整理这些步骤,确保逻辑清晰。比如,数据预处理通常包括标准化或归一化,这对线性模型很重要,因为特征的尺度会影响模型的收敛速度性能。 然后,模型构建部分,引用3提到了使用Linear类实例化模型,可能需要解释输入特征的维度。波士顿数据集通常有13个特征(包括常数项),所以输入大小应该是12或者13?需要确认,可能要看具体的实现。比如,在引用3中,input_size设为12,可能是指去除了某个特征或者不同的数据处理方式,这里可能需要进一步说明。 训练过程需要定义损失函数优化器。引用1提到Runner类的封装,可能类似于训练循环的管理器,负责训练、验证保存模型。用户可能需要了解如何编写训练循环,设置学习率、迭代次数等超参数。 评估部分,引用2提到了决定系数R²,这是一个重要的指标,说明模型解释变量变化的能力。同时,可视化真实值与预测值的对比图有助于直观理解模型表现。需要解释这些评估方法,并可能给出代码示例。 用户提供的引用中有一些代码片段,比如使用Linear类、Runner类的predict函数。需要将这些代码整合到教程中,确保语法正确,并解释关键部分。例如,在数据预处理阶段,标准化是如何进行的;模型定义时各层的作用;训练过程中的损失函数优化器选择等。 可能遇到的问题包括数据加载、特征选择、过拟合处理等。引用1提到实验中遇到了很多错误,用户可能需要一些调试技巧,比如检查数据形状、梯度下降是否收敛、学习率是否合适等。 另外,用户可能需要了解如何保存加载模型,如引用4中的runner.load_model函数。这部分可以简要说明模型持久化的方法,方便后续使用。 最后,生成相关问题时要围绕线性回归的应用、优化方法、评估指标、数据集特点等方面,帮助用户深入学习解决问题。例如,如何处理多重共线性,特征工程的作用,与其他算法的比较等。 总之,需要分步骤讲解整个流程,结合代码解释,确保用户能够理解并复现波士顿房价预测线性回归模型。同时,引用相关的资料,帮助用户进一步查阅细节。</think>### 使用线性回归进行波士顿房价预测的实例教程 #### 1. **数据准备与预处理** 波士顿房价数据集包含13个特征(如犯罪率、房间数量、学区质量等)1个目标变量(房价中位数)。需进行以下预处理: - **数据标准化**:将特征值缩放到均值为0、方差为1的分布,公式为: $$x_{\text{norm}} = \frac{x - \mu}{\sigma}$$ 标准化可加速模型收敛[^1]。 - **数据集划分**:按比例(如8:2)划分为训练集测试集。 #### 2. **模型定义** 线性回归模型公式为: $$\hat{y} = w_1x_1 + w_2x_2 + \dots + w_{12}x_{12} + b$$ 其中$w$为权重,$b$为偏置项。代码实现如下(引用自[^3]): ```python from nndl.op import Linear input_size = 12 # 特征维度(去除冗余特征后的维度) model = Linear(input_size) ``` #### 3. **模型训练** 使用均方误差(MSE)作为损失函数,公式为: $$MSE = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2$$ 通过梯度下降优化参数。代码示例: ```python import torch.optim as optim optimizer = optim.SGD(model.parameters(), lr=0.01) # 随机梯度下降 loss_fn = torch.nn.MSELoss() # 均方误差 # Runner类封装训练过程(引用自[^4]) class Runner: def train(self, model, train_data, epochs): for epoch in range(epochs): X, y = train_data pred = model(X) loss = loss_fn(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### 4. **模型评估** - **决定系数$R^2$**:衡量模型解释能力,$R^2$越接近1表示拟合越好[^2]。 - **预测对比可视化**:绘制真实值与预测值的散点图(引用自[^2])。 ```python import matplotlib.pyplot as plt plt.scatter(y_test, preds) plt.xlabel("True Prices") plt.ylabel("Predicted Prices") plt.title("Boston Housing Price Prediction") ``` #### 5. **应用实例** 通过Runner类加载模型并预测(引用自): ```python runner = Runner() runner.load_model("saved_models/linear_regression.pth") # 加载模型 pred = runner.predict(X_test[:1]) # 预测单个样本 print(f"真实房价:{y_test[:1].item()}, 预测房价:{pred.item()}") ``` ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值