数分一般步骤——数据清洗/预处理

导入数据

df = pd.read_csv('path_to_file.csv')
df = pd.read_excel('path_to_file.xls', sheet_name='Sheet1',engine=None) 
df = pd.read_json(f_path,encoding='utf-8')

查看数据概况

df.shape
df.columns
df.info()
df.dtypes
data.head()
data.describe().T
df.isna()

查询数据

data_0 = df.loc[20:30,['地区','年份']]
data_0 = df.iloc[400:500,0:5]

删除重复值

df = df.drop_duplicates(inplace=True)

缺失值处理(删除or替换)

        对连续特征使用中位数

        对分类特征使用众数

df.isna()
df = df.dropna(axis=0, how='any', inplace=False)

异常值处理（删除）

写入数据

df.to_csv('path_to_file.csv', index=True)
df.to_excel('path_to_file.xlsx', sheet_name='Sheet1')