100-Days-Of-ML-Code day 1

一. 数据

git地址：100-Days-of-ml，用到的数据集如下：

二. 流程 

 

三. 代码 

#step1: 导入相应的包
import numpy as np
import pandas as pd
 
#step2:导入数据集
'''
pandas读取excel的示例
.iloc：根据标签的所在位置，从0开始计数，选取列，iloc[a:b,c:d]选取a-b行的c-d列的数据
loc：根据DataFrame的具体标签选取列

filename='../file/testiloc'
data=pd.read_excel(filename)
data_test1=data.iloc[:,:8]  #选取位置为[0,8)列的整列数据
data_test2=data.iloc[0:2,8]  #选取位置为8的列的[0,2)行的数据
data_test3=data.loc[0:2,'工龄']  #选取列名为‘工龄’的[0,2]行的数据

'''
data = pd.read_csv('./Data.csv', encoding='gb18030')
X = data.iloc[: , :-1].values # 取所有行的从第一列到最后一列的数据
Y = data.iloc[: , 3].values # 取所有行的第3列的数据
#step3:处理缺失数据 NaN
'''
这里解释一下transform和fit_transform
fit(x,y)传两个参数的是有监督学习的算法，fit(x)传一个参数的是无监督学习的算法，比如降维、特征提取、标准化
fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来这么个函数名，仅仅是为了写代码方便，
所以会发现transform（）和fit_transform（）的运行结果是一样的。
注意：运行结果一模一样不代表这两个函数可以互相替换，绝对不可以！！！
transform函数是一定可以替换为fit_transform函数的
fit_transform函数不能替换为transform函数！！！理由解释如下：
 sklearn里的封装好的各种算法都要fit、然后调用各种API方法，transform只是其中一个API方法，
 所以当你调用除transform之外的方法，必须要先fit，为了通用的写代码，还是分开写比较好 
也就是说，这个fit相对于transform而言是没有任何意义的，但是相对于整个代码而言，fit是为
后续的API函数服务的，所以fit_transform不能改写为transform。
'''
from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values= "NaN", strategy="mean", axis=0)
imputer = imputer.fit(X[:, 1:3])
X[:, 1:3] = imputer.transform(X[:, 1:3])
 
#step4:编码解析分类数据
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[:, 0] = labelencoder_X.fit_transform(X[:, 0])
 #创建一个虚拟变量
#categorical_features = 'all'，这个参数指定了对哪些特征进行编码，默认对所有类别都进行编码。
# 也可以自己指定选择哪些特征，通过索引或者 bool 值来指定
onehotencoder = OneHotEncoder(categorical_features=[0]) #等价于true（第一列特征），表示就对第一列特征进行编码
X = onehotencoder.fit_transform(X).toarray() #或者这里也可以在上一行设置成OneHotEnconder(sparse = False）就不需要.toarray()
labelencoder_Y = LabelEncoder()
Y = labelencoder_Y.fit_transform(Y)  #疑问，为什么这里不用将Y转换成OneHotEncoder编码形式？
 
#step5:把数据分为训练集和测试集
from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
 
#step6:特征缩放
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)

四. 详解

 

第一步：导入库
导入所需要的python库，首先确保已经安装了numpy库、pandas库，为了使用方便，用as进行重命名。

import numpy as np
import pandas as pd

第二步:导入数据
导入准备好的csv数据，数据。注意这里的Data.csv存放在当前的工作目录下，否则要使用绝对路径。

dataset = pd.read_csv('Data.csv')

可以查看一下数据的前几行：

dataset.head()

 
还可以查看数值型数据的统计信息：

dataset.describe()

 
对数据进行切片，iloc表示取数据集中的某些行和某些列，逗号前表示行，逗号后表示列，这里表示取所有行，列取除了最后一列的其他列，而最后一列是应变量（Y）

X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

数据如下: 

第三步:处理缺失值
刚才的X数据中我们可以看到部分数据为NaN，对于这些缺失值常用的处理办法有:1、删除包含缺失值的数据列，2、填补缺失值（平均值、众数）。对于本例中的数据，我们使用平均数填充缺失值。这里用到python机器学习中最常用的sklearn库。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

现在来观察一下处理后的X: 
 
可以看到NaN值已经被处理为平均值了。

第四步:对分类变量的处理
我们可以看到上面X的Country列都是类别字符，这对机器学习来说是无法处理的类型，所以要对这一列进行类别编码。这里给的编码不太合理，不同的国家的地位应该是一样的，却给了不一样的数值，可能会造成机器学习的偏差，建议使用OneHot编码。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])

现在来看看处理后的X： 
 
处理完X，我们再来处理Y，这里我们用onehot编码：

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

第五步:划分测试集、训练集
训练集和测试集的比例为4:1

from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

第六步:特征缩放
也就是常说的归一化处理，防止某些特征的值特别大而影响机器学习的效果。

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

来看看现在得到的数据： 
 
到这里，预处理就全部完成了，这样的数据就可以直接进行机器学习了。