pandas 数据处理

1.  读文件

1.1 读csv文件

# tsv文件与csv文件相似，分隔符是‘\t’
# 使用round() 确定数据保留几位小数
df = pd.read_csv('data.tsv', sep='\t').round(decimals=4)
# df = pd.read_csv(file_path, sep="\t", encoding='utf-8', error_bad_lines=False, keep_default_na=False)
# 读入时指定字段数据类型
df = pd.read_csv('test.csv', dtype={'a': int, 'b': float, 'c': D.Decimal, 'd': D.Decimal})
# df = pd.read_csv('test.csv', dtype=str)  # 可避免长整形变成科学记数法

# engine默认是c，设置为python可避免编码错误问题
df = pd.read_csv('data.tsv', engine='python', header=None)

文件表头问题

# 若文件没有表头，可在读取时加上表头
df = pd.read_csv('tt.csv', names=['user_id', 'msg'])

# 若果使用下面的方式会丢失掉第一行(误把第一行作为旧表头)
df = pd.read_csv('tt.csv')
df.columns = ['user_id', 'msg']

# 若文件有表头
df = pd.read_csv('tt.csv', header=0, names=['user_id', 'msg'])
print(df.shape[0])

1.2 读excel文件

df = pd.read