数据分析4 数据清洗

原创

于 2020-12-11 09:15:36 发布 · 201 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #numpy

本文探讨了Python在数据分析中的重要角色，重点放在数据清洗这一关键步骤上。通过使用numpy库，介绍了如何处理缺失值、异常值以及数据类型转换等常见问题，旨在提升数据质量，为后续的数据分析和建模奠定基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


```python
### 处理丢失数据
- 有两种丢失数据：
    - None
    - np.nan(NaN)

- 两种丢失数据的区别

import numpy as np
import pandas as pd
from pandas import DataFrame,Series

type(None)

type(np.nan)

- 为什么在数据分析中需要用到的是浮点类型的空而不是对象类型？
    - 数据分析中会常常使用某些形式的运算来处理原始数据，如果原数数据中的空值为NAN的形式，则不会干扰或者中断运算。
    - NAN可以参与运算的
    - None是不可以参与运算

- 在pandas中如果遇到了None形式的空值则pandas会将其强转成NAN的形式。

None + 1

np.nan + 1

### pandas处理空值操作
- isnull
- notnull
- any
- all
- dropna
- fillna

df = DataFrame(data=np.random.randint(0,100,size=(7,5)))
df.iloc[3,4] = None
df.iloc[2,2] = np.nan
df.iloc[5<