np.nan和pd.nan的问题

本文深入探讨了Python中np.nan与pd.nan的区别与联系,解释了这两种缺失值表示方式的特点及其应用场景,对于理解与处理数据集中的缺失值非常有帮助。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import pandas as pd import numpy as np from scipy import stats # 原始数据整理 data = { "20-29": [1,2,1,2,2,2,2,2,2,2,3,1,2,2,3], "30-39": [3,3,np.nan,1,2,1,1,2,1,1,2,1,2,2,2,2,2,2,3,np.nan,2,3,1,2,2,2,3,2,1,3,3,1,2,1,1,2,4,1,np.nan,2,2,3,4,np.nan,2,1,3,2,np.nan,2,1,2,1,2,2,1,1,1,2,1,2,3,np.nan,2,1,2,1,2,3,2,np.nan,2,1,1,4,1,np.nan,3,2,2,1,2,2,3,4,1,3,3,2,2,4,2,2,1,2,2,2,3,2,3,2,2,1,1,2,1,3,2,4,2,2,2,3], "40-49": [1,2,1,1,1,1,2,2,1,1,1,2,2,2,2,2,2,1,4,2,2,3,2,2,1,2,1,1,1,1,3,np.nan,2,2,1,np.nan,2,1,2,2,np.nan,np.nan,2,2,2,2,2,2,1,1,3,3,2,1,1,1,2,2,1,2,2,1,1,1,2,1,2,2,2,2,2,1,2,2,3,2,3,2,2,np.nan,2,2,2,2,2,2,2,1,1,2,2,1,1,np.nan,1,2,1,1,1,2,2,1,2,2,2,2,2,1,np.nan,np.nan,1,2,1,1,2,2,2,1,3,1,1,3,2,2,4,1,2,2,2,2,1,2,1,2,2,2,2,2,1,1,2,2,3,2,4,2,1,np.nan,2,2,2,2,2,2,2,1,np.nan,1,2,2,np.nan,1,2,1,2,2,1,3,2,2,3,1,2,2,2,1,1,2,np.nan,1,2,2,4,1,np.nan,np.nan,1,2,2,1,2,2,2,1,2,2,2,1,3,1,1,1,3,1,2,2,np.nan,2,2,3,2,2,np.nan,1,1,1,1,2,1,1,np.nan,3,4,1,1,np.nan,1,2,1,2,1,4,1,1,2], "50-59": [1,1,2,1,1,np.nan,3,1,2,1,1,4,1,np.nan,np.nan,1,2,1,2,2,1,3,2,3,2,2,2,1,2,2,2,1,np.nan,1,2,2,2,2,1,1,np.nan,3,1,2,1,1,1,1,1,np.nan,1,2,2,1,2,1,2,1,1,1,2,1,1,2,3,1,1,1,2,np.nan,np.nan,1,1,1,np.nan,2,2,2,1,1,1,np.nan,1,1,1,1,2,1,2,1,1,1,2,2,1,2,3,1,1,1,np.nan,2,np.nan,1,1,1,1,np.nan,2,2,2,1,2,1,1,1,1,2,1,1,1,1,np.nan,1,1,2,1,np.nan,2,2,2,1,np.nan,1,1,2,2,1,1,2,2,1,1,1,1,2,2,2,np.nan,1,2,1,1,2,1,1,2,3,1,2,1,1,np.nan,1,np.nan,np.nan,1,2,2,1,2,1,1,3,1,1,3,1,1,1,1,2,1,1,2,1,1,1,1,np.nan,1,1,1,1,2,2,3,2,3,1,1,1,2,2,1,2,1,2,2,1,np.nan,2,2,1,2,2,1,1,2,1,1,2,2,1,1,1,2,2,2,1,2,2,2,1,2,2,2,2,1,3,1,1,1,2,2,2,1,1,1,3,np.nan,1,1,1,1,1,1,2,2,1,2,1,1,2,2,1,np.nan,2,1,2,1,1,2,1,1,1,np.nan,2,1,1,2,1,2,2,2,1,1,1,1,1,1,2,1,1,2,2,2,1,2,2,1,2,2,2,1,1,1,1,np.nan,1,2,2,1,2,2,2,2,2,1,1,1,1,1,1,1,2,2,2,2,np.nan,2,2,1,1,1,3,1,1,1,2,np.nan,2,2,np.nan,2,1,3,1,2,1,np.nan,2,np.nan,4,2,1,2,1,1,2,1,2,1,2,1,np.nan,1,2,1,2,2,1,np.nan,1,1,1,1,2,1,2,2,np.nan,1,1,1,2,3,2,1,2,1,1,2,1,1,1,2,1,2,1,3,1,np.nan,1,1,2,1,2,3,2,2,2], "60-69": [1,np.nan,1,np.nan,2,2,1,np.nan,2,2,2,2,2,2,3,2,1,1,np.nan,3,2,1,1,1,1,1,1,2,1,1,1,2,np.nan,np.nan,1,1,np.nan,1,1,2,3,2,3,1,2,1,1,np.nan,1,2,2,1,1,3,2,1,2,np.nan,1,1,1,1,2,1,2,3,np.nan,np.nan,1,1,np.nan,1,4,2,np.nan,2,1,1,np.nan,1,1,1,1,3,1,3,1,2,1,1,1,1,1,1,2,3,np.nan,1,1,2,np.nan,1,1,1,1,3,2,2,1,1,3,2,1,np.nan,4,2,2,np.nan,np.nan,1,1,1,3,np.nan,2,1,2,2,1,2,np.nan,1,2,1,np.nan,2,3,2,4,1,1,2,3,2,1,2,1,3,1,2,3,1,2,2,2,2,1,np.nan,2,3,1,2,2,2,2,1,1,np.nan,2,3,2,1,1,1,2,2,1,1,np.nan,np.nan,1,1,1,1,1,2,2,2,2,2,2,2,1,1,2,2,2,2,2,3,2,2,1,1,2,1,2,2,2,3,2,1,1,2,1,np.nan,1,1,1,1,np.nan,1,2,2,1,2,1,1,2,1,2,2,1,1,2,1,1,1,2,2,np.nan,2,1,1,3,1,1,3,2,1,1,2,2,3,2,1,1,2,2,2,2,1,2,np.nan,3,1,1,2,1,2,2,2,2,1,2,np.nan,1,2,1,1,2,1,2,1,1,np.nan,np.nan,1,1,1,3,1,1,1,1,2,1,2,1,2,1,1,2,1,np.nan,np.nan,2,1,1,2,2,np.nan,1,np.nan,np.nan,2,1,1,2,2,1,1,1,1,1,2,1,1,1,1,np.nan,1,1,1,2,2,2,2,1,1,1,2,2,4,1,1,2,1,np.nan,2,1,np.nan,1,2,1,2,2,np.nan,1,1,1,2,2,1,np.nan], "70-79": [1,np.nan,1,1,np.nan,1,1,np.nan,1,1,1,1,1,np.nan,1,1,1,1,1,1,1,1,1,1,1,3,1,1,1,1,np.nan,2,1,np.nan,3,1,2,np.nan,2,np.nan,1,np.nan,1,1,1,1,1,2,1,1,1,1,1,1,1,1,1,1,np.nan,np.nan,3,1,1,1,1,3,3,2,2,3,1,2,np.nan,1,1,1,1,1,1,np.nan,1,1,2,2,1,1,1,1,1,np.nan,1,np.nan,1,1,2,np.nan,1,1,2,1,np.nan,1,2,2,2,1,2,1,1,1,np.nan,1,2,1,1,np.nan,np.nan,np.nan,2,2,1,1,1,1,1,1,1,1,np.nan,1,1,2,1,1,1,2,1,1,np.nan,1,2,np.nan,1,1,1,1,2,1,1,np.nan,1,2,1,1,1,1,1,1,1,3,1,1,1,1,1,1,1,1,1,1,2,2,1,1,1,2,2,np.nan,2,1,1,1,1,1,1,3,1,1,2,np.nan,1,1,1,1,1,1,2,1,1,np.nan,np.nan,2,2,np.nan,1,2,3,2,np.nan,1,2,1,2,1,1,np.nan,np.nan,1,1,1,1,np.nan,1,1,np.nan,np.nan,1,1,np.nan,1,1,2,2,1,1,2,1,1,np.nan,1,1,1,1,1,2,np.nan,1,2,1,1,1,1,1,1,1,1,1,np.nan,1,1,2,2,2,3,1,2,3,1,1,1,2,3,1,1,2,np.nan,2,np.nan,2], "80-91": [np.nan,2,np.nan,np.nan,np.nan,np.nan,np.nan,np.nan,1,1,1,1,1,np.nan,2,1,1,np.nan,np.nan,np.nan,2,1,1,3,1,1,2,np.nan,np.nan,1,1,2,np.nan,1,2,1,2,4,np.nan,1,1,np.nan,1,np.nan,1,1,1,2,np.nan,2,1,np.nan,1,3,1,np.nan,1,1,1,1,1,1,3,1,1,1,1] } import pandas as pd import numpy as np from scipy import stats from statsmodels.stats.multicomp import pairwise_tukeyhsd import seaborn as sns import matplotlib.pyplot as plt # 将原始数据转换为DataFrame df_list = [] for age_group, values in data.items(): temp_df = pd.DataFrame({ 'age_group': [age_group] * len(values), 'education': values }) df_list.append(temp_df) df = pd.concat(df_list).reset_index(drop=True) # 删除缺失值 df_clean = df.dropna(subset=['education']) 前置代码是这个
06-13
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值