数据分析4 数据清洗

本文探讨了Python在数据分析中的重要角色,重点放在数据清洗这一关键步骤上。通过使用numpy库,介绍了如何处理缺失值、异常值以及数据类型转换等常见问题,旨在提升数据质量,为后续的数据分析和建模奠定基础。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


```python
### 处理丢失数据
- 有两种丢失数据:
    - None
    - np.nan(NaN)

- 两种丢失数据的区别

import numpy as np
import pandas as pd
from pandas import DataFrame,Series

type(None)

type(np.nan)

- 为什么在数据分析中需要用到的是浮点类型的空而不是对象类型?
    - 数据分析中会常常使用某些形式的运算来处理原始数据,如果原数数据中的空值为NAN的形式,则不会干扰或者中断运算。
    - NAN可以参与运算的
    - None是不可以参与运算

- 在pandas中如果遇到了None形式的空值则pandas会将其强转成NAN的形式。

None + 1

np.nan + 1

### pandas处理空值操作
- isnull
- notnull
- any
- all
- dropna
- fillna

df = DataFrame(data=np.random.randint(0,100,size=(7,5)))
df.iloc[3,4] = None
df.iloc[2,2] = np.nan
df.iloc[5<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值