pandas库笔记

一、匹配两个表（取交集）

两个待匹配数据表： df1、df2 联结匹配字段： data1 data2

用pandas的merge函数：

import pandas as pd

df3 = pd.merge(df1, df2, on = ['data1', 'data2'], how = 'inner')

二、匹配两个表（取df1表中不存在df2表的数据）

两个待匹配数据表： df1、df2 联结匹配字段： data1

df3 = pd.merge(df1, df2, on = 'data1', how = 'outer', indicator=True).query('_merge == "left_only"')

三、根据df1表某字段为条件填充df2表

匹配字段： data1

df3 = df2.join(df1.set_index('data1'), 'data1')

四、保存为csv的参数

df.to_csv('路径', encoding='gbk', index=None)

ps:读取csv的时候也要加encoding='gbk'参数

五、str.replace()函数

1.pd保存为csv时，提示'gbk' codec can't encode character '\xa0'错误

有这类字符隐藏在字段中，用str.replace去除即可

df['data1'] = df['data1'].str.replace('\xa0','',regex=True)

2.只保留df中某列的纯数字

df['data1'] = df5['data1'].str.extract('(\d+)', expand=False)

六、去重/删除

1.对某列或多列去重

df1 = df.drop_duplicates('data1','data2')

2.对某列或多列删除

df1 = df.drop(['data1','data2'], axis=1)

七、填充NaN值

1.常数填充

df['id'].fillna('0', inplace=True)

2.用缺失值的（上一行）前一个值来填充NaN

df['id'].fillna(method='ffill', inplace=True)