【机器学习-14】波士顿房价预测

波士顿房价预测是一个经典的机器学习案例，通常用于回归问题的学习和实践。该问题的目标是预测波士顿地区的房屋价格，基于一组与房屋相关的特征。这一案例可以帮助我们理解如何处理回归任务，包括数据预处理、特征选择、模型训练和评估等步骤。

1. 数据集简介

波士顿房价数据集（Boston Housing Dataset）包含了506个样本，涉及13个特征，目标是预测每个样本（即每个房屋）在该地区的房价中位数。数据集的特征包括：

1. CRIM：城镇的犯罪率
2. ZN：住宅用地的比例
3. INDUS：非零售商业用地的比例
4. CHAS：是否位于查尔斯河旁边（0或1）
5. NOX：氮氧化物浓度（污染程度）
6. RM：每个住宅的平均房间数
7. AGE：房屋的年代（超过一定年限的比例）
8. DIS：到就业中心的加权距离
9. RAD：距离辐射公路的距离
10. TAX：每一万美元的财产税率
11. PTRATIO：城镇教师与学生的比例
12. B：该地区黑人比例（1000(Bk - 0.63)^2）
13. LSTAT：低收入人群的比例

目标变量是MEDV，即该地区房屋的中位数价格。

2. 数据预处理

在处理波士顿房价数据时，需要进行以下数据预处理步骤：

1. 缺失值处理：波士顿数据集中通常没有缺失值，但在其他数据集中，这一步是必须的。
2. 特征缩放：由于数据中的特征尺度差异较大，通常会进行标准化或归一化处理，尤其是对基于梯度下降的模型（如线性回归、神经网络等）来说很重要。
3. 特征选择：可以使用相关性分析或特征重要性评估来选择影响房价的最重要特征。
4. 数据划分：通常将数据分为训练集和测试集，例如70%的数据用于训练，30%用于测试，或者使用交叉验证。

3. 模型选择与训练

对波士顿房价进行预测时，可以使用多个回归模型。常见的模型包括：

• 线性回归：简单易用，适用于线性关系的情况。
• 岭回归（Ridge Regression）：一种带有L2正则化的回归模型，适合处理多重共线性。
• 套索回归（Lasso Regression）：一种带有L1正则化的回归模型，可以进行特征选择。
• 决策树回归：适用于非线性关系，能够处理复杂的特征交互。
• 随机森林回归：集成学习方法，通过多棵决策树组合得到更稳定的预测结果。
• 梯度提升回归（Gradient Boosting Regression）：另一种集成学习方法，能够有效处理复杂数据，并在很多实际问题中表现出色。

4. 评估模型性能

在回归任务中，评估模型的常见指标包括：

1. 均方误差 (MSE)：衡量预测值与实际值之间的平方差，数值越小，模型的预测效果越好。

   $$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

2. 均方根误差 (RMSE)：是MSE的平方根，更直观地表达了预测误差。

   $$RMSE=\sqrt{MSE}$$

3. 决定系数 (R²)：衡量模型对数据变异性的解释能力。值越接近1，模型越好。

   $$R^2=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$$

   其中，( y_i ) 是实际值，( \hat{y}_i ) 是预测值，( \bar{y} ) 是实际值的均值。

5. 示例代码

以下是一个简单的波士顿房价预测的Python代码示例，使用scikit-learn进行数据加载、模型训练和评估。

# 导入库
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler

# 加载数据集
boston = load_boston()
X = boston.data
y = boston.target

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 特征标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)

print(f'Mean Squared Error: {mse:.2f}')
print(f'Root Mean Squared Error: {rmse:.2f}')
print(f'R-squared: {r2:.2f}')

6. 结果分析

通过训练线性回归模型并进行评估，通常会得到如下结果：

• 均方误差 (MSE) 和 均方根误差 (RMSE)：衡量模型的误差大小，数值越小越好。
• R²（决定系数）：如果R²值接近1，表示模型对数据的拟合效果很好。如果接近0，则模型的预测效果较差。

对于波士顿房价数据集，线性回归模型通常能够得到较好的性能，R²值一般在0.7以上，表明模型能够较好地拟合数据。

总结

波士顿房价预测案例是一个经典的回归问题，通过它可以帮助我们了解如何处理回归问题中的数据预处理、模型选择、训练和评估等步骤。通过对比不同的回归模型和评估指标，我们可以更好地理解模型的性能并进行进一步优化。