【机器学习】数据预处理及其python实现

Step 1 导入数据集

利用pandas中的read_csv读取.csv格式的数据集，制作自变量与因变量的矩阵或向量。
CSV文件是以文本形式保存表格数据，每一行为一个数据。

dataset = pd.read_csv('Data.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

pandas中索引的使用

.loc
.loc[],中括号里面是先行后列，以逗号分割，行和列分别是行标签和列标签。

data.loc['b':'c','B':'C']

.iloc
.iloc[]与loc一样，中括号里面也是先行后列，行列标签用逗号分割，与loc不同的之处是.iloc 是根据行数与列数来索引的。

data.iloc[1:3,1:3]

Step 2 处理丢失数据

为了不降低机器学习模型的性能需要处理丢失数据，可以使用平均值等替换丢失数据。
我们利用sklearn.preprocessing库中的Imputer类进行处理。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values="NaN",strategy="mean",axis=0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

Step 3 解析分类数据

分类数据是指含有标签值而不是数字值得变量，取值范围通常是固定的。例如“Yes”