数据预处理

Pandas

【载入数据】

train = pd.read_csv("*******************.csv",head=0)

你听我解释：从csv文件中读取到了数据，并将他们存入了dataframe中。我们只需要调用read_csv函数并将csv文件的路径作为函数参数即可。header关键字告诉Pandas这些数据是否有列名，在哪里。如果没有列名，你可以将其置为None。Pandas非常智能，所以你可以省略这一关键字。

【查看数据】

train.head(5)
train.tail(4)
len(train)  # 获得数据行数
train.shape  # 维度
train.info()  # 数据表基本信息（维度、列名称、数据格式、所占空间等）
train.dtypes  # 每一列数据的格式
train[‘B’].dtype  # 某一列格式
train.isnull()  # 查看某一列空值
train[‘B’].unique()  # 查看某一列的唯一值
train.values  #　查看数据表的值
train.columns　#　查看列名称
train.describe()

你听我解释：快速查看前5行数据,后4行数据

【数据过滤】

train.B  # B为列明，返回一个series
train.B > 100  # >100相应位置为True 否则为False
train[(train.B > 90 ) & (train.B <100)]  # 同上
train[(train.C.str.start_with("magic")]  # 字符串情况

【数据清洗】

# 用数字0填充空值：
train.fillna(value=0)

# 使用列prince的均值对NA进行填充：
train[‘B’].fillna(train[‘B’].mean())

# 清楚B字段的字符空格：
train[‘B’]=train[‘B’].map(str.strip)

# 大小写转换：
train[‘B’]=train[‘B’].str.lower()

# 更改数据格式：
train[‘B’].astype(‘int’)

# 更改列名称：
train.rename(columns={‘B’: ‘C’})

# 删除后出现的重复值：
train[‘B’].drop_duplicates()

# 删除先出现的重复值：
train[‘B’].drop_duplicates(keep=’last’)

# 数据替换：
train[‘B’].replace(‘bb’, ‘bbb’)

 

【预处理数据】

对于该属性的缺失值处理：方法一，默认填充值的范围[(mean - std) ,(mean + std)]。方法二，将缺失的Age当做label,将其他列的属性当做特征，通过已有的Age的记录训练模型，来预测缺失的Age值。方法三：缺失数极小，所以这里考虑使用该属性最多的值填充。

对该连续型数据进行处理：常用的方法有两种，方法一，等距离划分。方法二，通过卡方检验/信息增益/GINI系数寻找差异较大的分裂点。
 

def 函数名(B):
    return 街上最靓的仔
train["新列"] = train.B.apply(函数名)

你听我解释：使用apply的方法从旧的列中生成新的列，对整个数据集应用某个函数，可以使用dataset.applymap()

我不听我不听：匿名函数

# groupby:将所选择的列组成一组
train.groupby(train.B // 10 * 10).max()

# unstack:将某(0)一列前置成为列标签
train.unstack(0)

# 合并
train_inner=pd.merge(df,df1,how='inner')  # 匹配合并，交集
train_left=pd.merge(df,df1,how='left')     
train_right=pd.merge(df,df1,how='right')
train_outer=pd.merge(df,df1,how='outer')  # 并集

# 两个表合并
train_result = train.append(train2)
train_result = train_left.join(train_right, on='key')
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
          keys=None, levels=None, names=None, verify_integrity=False,
          copy=True)

# 设置索引列
train.set_index(‘B’)

# 按照特定列的值排序：
train.sort_values(by=[‘B’])

# 按照索引列排序：
train.sort_index()

# 如果B列的值>3000，C列显示"hi"，否则显示"ih"：
train[‘B’] = np.where(train[‘B’] > 3000,’hi’,’ih’)

# 对复合多个条件的数据进行分组标记
train.loc[(train[‘B’] == ‘hi’) & (df_inner[‘B’] >= 4000), ‘C’]=1

# 按索引提取单行的数值
train.loc[3]

# 按索引提取区域行数值
train.iloc[0:5]

# 重设索引
train.reset_index()

# 设置B为索引
train=train.set_index(‘B’)

# 提取4日之前的所有数据
train[:’2013-01-04’]

# 使用iloc按位置区域提取数据
train.iloc[:3,:2] 

# 适应iloc按位置单独提起数据
train.iloc[[0,2,5],[4,5]] #提取第0、2、5行，4、5列

# 使用ix按索引标签和位置混合提取数据
train.ix[:’2013-01-03’,:4] #2013-01-03号之前，前四列数据

# 判断city列的值是否为北京
train[‘city’].isin([‘beijing’])

# 判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来
train.loc[df_inner[‘city’].isin([‘beijing’,’shanghai’])]

# 提取前三个字符，并生成数据表
pd.DataFrame(BBBB.str[:3])

# 使用query函数进行筛选
train.query(‘city == [“beijing”, “shanghai”]’)

#对筛选后的结果按prince进行求和
train.query(‘city == [“beijing”, “shanghai”]’).price.sum()

# 对所有的列进行计数汇总
train.groupby(‘city’).count()

# 按城市对id字段进行计数
train.groupby(‘city’)[‘id’].count()

# 对两个字段进行汇总计数
train.groupby([‘city’,’size’])[‘id’].count()

# 对city字段进行汇总，并分别计算prince的合计和均值
train.groupby(‘city’)[‘price’].agg([len,np.sum, np.mean])

# 简单的数据采样
train.sample(n=3)

# 手动设置采样权重
weights = [0, 0, 0, 0, 0.5, 0.5] 
train.sample(n=2, weights=weights)

# 采样后不放回
train.sample(n=6, replace=False)

# 采样后放回
train.sample(n=6, replace=True)

# 数据表描述性统计
train.describe().round(2).T #round函数设置显示小数位，T表示转置

# 计算列的标准差
train[‘price’].std()

# 计算两个字段间的协方差
trainr[‘price’].cov(df_inner[‘m-point’])

# 数据表中所有字段间的协方差
train.cov()

# 两个字段的相关性分析
train[‘price’].corr(df_inner[‘m-point’]) #相关系数在-1到1之间，接近1为正相关，接近-1为负相关，0为不相关

# 数据表的相关性分析
train.corr()

【囤起来】

train.to_excel(‘excel_to_python.xlsx’, sheet_name=’abc’)
train.to_csv(‘excel_to_python.csv’)