机器学习实践项目（二）- 房价预测 - 认识数据

Kaggle房价预测项目——数据字段全解析

📘 本文为 Kaggle 房价预测项目系列的第一篇，主要讲解如何理解与分析原始数据字段，
帮助你在建模前对每个特征有系统认识，为后续特征工程与模型训练打下基础。

---

📖 目录

1. 项目简介
2. 目标变量探索
3. 数据字段类型概览
4. 伪数值列与类别误导
5. 小结

---

一、项目简介

Kaggle 上的 House Prices: Advanced Regression Techniques 是入门机器学习的经典项目。
我们要预测房屋的售价（SalePrice），输入是一系列关于房屋的属性字段。

import numpy as np
import pandas as pd

train_df = pd.read_csv('./input/train.csv')
test_df = pd.read_csv('./input/test.csv')

train_df.head()

---

二、目标变量探索

在训练数据中，SalePrice 是我们的目标变量。
为了了解它的分布情况，我们先绘制直方图。

import matplotlib.pyplot as plt
prices = pd.DataFrame({
    "price": train_df["SalePrice"],
    "log(price+1)": np.log1p(train_df["SalePrice"])
})
prices.hist(figsize=(8,4))
plt.show()

可以看到，SalePrice 呈明显右偏分布，而对数变换后的 log(price+1) 更接近正态分布。
在建模时，我们通常对目标取对数，以提升模型的稳定性。

---

三、数据字段类型概览

房价数据集共有 80 多个字段。它们大致可以分为以下几类：

字段名	含义	类型
MSSubClass	房屋类型（1层/2层/PUD等）	整数（其实是类别）
OverallQual	综合质量评分（1–10）	数值
GrLivArea	地上居住面积	数值
Neighborhood	所属街区	类别
YearBuilt	建造年份	数值
SalePrice	售价	目标变量

通过 train_df.info() 可以查看每列的数据类型和缺失情况。

---

四、伪数值列与类别误导

一个常见陷阱是：有些看似数值的列，其实是类别型字段。
例如：

all_df = pd.concat((train_df, test_df), axis=0)
all_df['MSSubClass'].dtypes

虽然数据类型是 int64，但它只是房屋类型编号。
我们需要将其转换成字符串来避免模型误判大小关系：

all_df['MSSubClass'] = all_df['MSSubClass'].astype(str)

转成字符串后，我们就可以进行独热编码：

pd.get_dummies(all_df['MSSubClass'], prefix='MSSubClass', dtype=int).head()

---

五、小结

✅ 关键要点：

• 明确每个字段的类型（数值 / 类别 / 有序）；
• 对目标变量 SalePrice 做对数变换；
• 处理“伪数值列”防止模型被误导。

📚 下一篇《Kaggle房价预测（二）——数据清洗与特征处理》
我们将进入特征工程环节，学习如何填补缺失值、做标准化、生成可用的训练矩阵。