5--California House Prices（使用MLP）

原创

已于 2022-08-24 10:47:27 修改 · 893 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #python #神经网络

于 2022-08-23 18:34:00 首次发布

本文探讨了如何处理带有缺失值和大量离散特征的加州房价数据集，通过删除无关特征、填充缺失值、标准化数值特征、选择性热编码并进行训练，展示了K折交叉验证和模型预测的过程。

与示例的那个比赛不同的是，该数据集存在缺失值，并且离散特征较多。如果同示例一样直接对离散值进行热编码，内存会爆炸，所以这里对数据的提前处理比较重要。本来应该先了解特征工程的，这里为了简单直接对复杂特征进行丢弃。

5.1 数据集的准备

同示例一样，有两种方法。由于该数据集不大，所以选择直接下载到本地后上传到google云盘使用。因为之前写过具体步骤，这里就不再写了，附上之前的链接。优快云

导入数据集，训练数据集包括47439个样本，每个样本40个特征和1个标签，而测试数据集包含31626个样本，每个样本40个特征。

train_data = pd.read_csv('/content/drive/MyDrive/data/california-house-prices/train.csv')
test_data = pd.read_csv('/content/drive/MyDrive/data/california-house-prices/test.csv')
print(train_data.shape)
print(test_data.shape)

#输出
(47439, 41)
(31626, 40)

5.2 数据预处理

查看具体的特征有哪些，其中‘Id'列跟预测结果没有关系，将其删除。训练数据中的’Sold Price‘是标签，也需要删除，其他的Adress和Summary由于太复杂了，这里也直接删除。

train_data.columns
test_data.columns
#输出：
Index(['Id', 'Address', 'Sold Price', 'Summary', 'Type', 'Year built',
       'Heating', 'Cooling', 'Parking', 'Lot', 'Bedrooms', 'Bathrooms',
       'Full bathrooms', 'Total interior livable area', 'Total spaces',
       'Garage spaces', 'Region', 'Elementary School',
       'Elementary School Score', 'Elementary School Distance',
       'Middle School', 'Middle School Score', 'Middle School Distance',
       'High School', 'High School Score', 'High School Distance', 'Flooring',
       'Heating features', 'Cooling features', 'Appliances included',
       'Laundry features', 'Parking features', 'Tax assessed value',
       'Annual tax amount', 'Listed On', 'Listed Price', 'Last Sold On',
       'Last Sold Price', 'City', 'Zip', 'State'],
      dtype='object')
Index(['Id', 'Address', 'Summary', 'Type', 'Year built', 'Heating', 'Cooling',
       'Parking', 'Lot', 'Bedrooms', 'Bathrooms', 'Full bathrooms',
       'Total interior livable area', 'Total spaces', 'Garage spaces',
       'Region', 'Elementary School', 'Elementary School Score',
       'Elementary School Distance', 'Middle School', 'Middle School Score',
       'Middle School Distance', 'High School', 'High School Score',