sklearn机器学习之随机森林回归（波士顿房价数据集）

这里我们将对波士顿房价的原始数据进行处理，在数据中人为添加一些缺失值，然后根据分三种情况：①用0填补缺失值，②均值填补，③用随机森林填补，之后分别构建随机森林回归，计算MSE，并做可视化。

1.导入相应包

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score

2.准备数据集

dataset = load_boston()
X_full, y_full = dataset.data, dataset.target

3.对数据集设置50%缺失值

#样本数和特征数
n_samples = X_full.shape[0]
n_features = X_full.shape[1]
#首先确定我们希望放入的缺失数据的比例，在这里我们假设是50%
rng = np.random.RandomState(0)
#缺失率
missing_rate = 0.5
#应确实总数
n_missing_samples = int(np.floor(n_samples * n_features * missing_rate))
#通过随机数设置这n_missing_samples个缺失值的横纵索引
missing_features = rng.randint(0, n_features, n_missing_samples)
missing_samples = rng.randint(0, n_samples, n_missing_samples)
#保留原数据
X_missing = X_full.copy()
y_missing = y_full.copy()
#设置缺失值np.nan并转换为DataFrame格式
X_missing[missing_samples, missing_features] = np.nan
X_missing = pd.DataFrame(X_missing)

4.均值代替缺失值

#设置SimpleImputer利用均值填充
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
X_missing_mean = imp_mean.fit_transform(X_missing)

5.零代替缺失值

#设置SimpleImputer利用0填充
imp_0 = SimpleImputer(missing_values=np.nan, strategy='constant', fill_value=0)
X_missing_0 = imp_0.fit_transform(X_missing)

6.随机森林回归计算缺失值

  这里简要讲述一下我们思路，任何回归都是从特征矩阵中学习，然后求解连续型标签y的过程，之所以能够实现这个过程，是因为回归算法认为，特征矩阵和标签之前存在着某种联系。实际上，标签和特征是可以相互转换的，比如说，在一个“用地区，环境，附近学校数量”预测“房价”的问题中，我们既可以用“地区”，“环境”，“附近学校数量”的数据来预测“房价”，也可以反过来，用“环境”，“附近学校数量”和“房价”来预测“地区”。而回归填补缺失值，正是利用了这种思想。
  对于一个有n个特征的数据来说，其中特征T有缺失值，我们就把特征T当作标签，其他的n-1个特征和原本的标签组成新的特征矩阵。那对于T来说，它没有缺失的部分，就是我们的Y_test，这部分数据既有标签也有特征，而它缺失的部分，只有特征没有标签，就是我们需要预测的部分。
  这种做法，对于某一个特征大量缺失，其他特征却很完整的情况，非常适用。
  那如果数据中除了特征T之外，其他特征也有缺失值怎么办？
  答案：是遍历所有的特征，从缺失最少的开始进行填补（因为填补缺失最少的特征所需要的准确信息最少）。填补一个特征时，先将其他特征的缺失值用0代替，每完成一次回归预测，就将预测值放到原本的特征矩阵中，再继续填补下一个特征。每一次填补完毕，有缺失值的特征会减少一个，所以每次循环后，需要用0来填补的特征就越来越少。当进行到最后一个特征时（这个特征应该是所有特征中缺失值最多的），已经没有任何的其他特征需要用0来进行填补了，而我们已经使用回归为其他特征填补了大量有效信息，可以用来填补缺失最多的特征。
  遍历所有的特征后，数据就完整，不再有缺失值了。
具体代码以及注释如下：

X_missing_reg = X_missing.copy()
#利用np.argsort将数据按每列的缺失值进行排序并获取排序索引
sortindex = np.argsort(X_missing_reg.isnull().sum(axis=0)).values
#依次遍历每个索引
for i in sortindex:
    #构建我们的新特征矩阵和新标签
    df = X_missing_reg
    #需要填补的列
    fillc = df.iloc[:,i]
    #将除i以外的列以及房价y列合并作为训练集
    df = pd.concat([df.iloc[:, df.columns != i], pd.DataFrame(y_full)], axis=1)
    #将训练集缺失值部分取0
    df_0 = imp_0.fit_transform(df)

    #划分训练测试集
    Ytrain = fillc[fillc.notnull()]
    Ytest = fillc[fillc.isnull()]
    Xtrain = df_0[Ytrain.index, :]
    Xtest = df_0[Ytest.index, :]
    #构造随机森林
    rfc = RandomForestRegressor(n_estimators=25)
    rfc.fit(Xtrain, Ytrain)
    #预测并将值保存到原始矩阵中
    Ypredict = rfc.predict(Xtest)
    X_missing_reg.loc[X_missing_reg.iloc[:, i].isnull(), i] = Ypredict

7.统计建模分析

这里我们采用MSE作为评价指标。

#进行建模分析
X = [X_full, X_missing_mean, X_missing_0, X_missing_reg]
mse = []
std = []
#一次对三种情况与原始数据进行预测评估
for x in X:
    estimator = RandomForestRegressor(random_state=0, n_estimators=50)
    score = cross_val_score(estimator, x, y_full, scoring='neg_mean_squared_error', cv=5).mean()
    #注意上述score为负MSE，需要×-1
    mse.append(score * -1)

8.数据可视化

#可视化
x_labels = ['Full data', 'Zero Imputation', 'Mean Imputation', 'Regressor Imputation']
colors = ['r', 'g', 'b', 'orange']
plt.figure(figsize=(12, 6))
ax = plt.subplot(111)
for i in np.arange(len(mse)):
	#水平条形图将数据依次遍历画出
    ax.barh(i, mse[i], color=colors[i], alpha=0.6, align='center')
ax.set_title('Imputation Techniques with Boston Data')
#设置x轴坐标上下限
ax.set_xlim(left=np.min(mse) * 0.9, right=np.max(mse) * 1.1)
#y轴刻度
ax.set_yticks(np.arange(len(mse)))
#x轴标签
ax.set_xlabel('MSE')
#y轴每个刻度的标签
ax.set_yticklabels(x_labels)
plt.show()

最终画出的结果图如下：

我们发现利用随机森林回归填补的缺失值与其他填补方式MSE小，甚至比原始值的MSE误差小，这说明我们随机森林模型的高精确率，很适合我们在比赛中使用！！！