python数据处理

基本操作

python进行数据处理的一系列基本操作

数据导入导出

1. 导入pandas库

import pandas as pd

2. 导入csv格式的数据

#error_bad_lines忽略存在错误的行
df = pd.read_csv('test.csv',error_bad_lines=False)

3. 写出csv格式的数据

df.to_csv('final.csv', index=False)

4. 读取csv时，由于缺失值引起的浮点转换问题

pd.read_csv('test.csv')

这样会对字符串型的数据，加上.0的浮点处理，例如Id类型的数据

但是，如果你告诉pandas你想要有缺失值的新实验整数，即可解决该问题：

pd.read_csv('test.csv', dtype={
   
   'a': 'Int64'})

列表操作

1. 删除指定列

df=df.drop(['D0401b','D_0'],axis=1)

2. 分列

#先将字段变为字符串形式，再按照分隔符进行分列