Pandas笔记6----------Pandas重复值处理、数据映射、异常值检测和过滤、抽样

已于 2025-06-18 09:47:38 修改
阅读量542 收藏 9
点赞数 8
CC 4.0 BY-SA版权
分类专栏： Pandas笔记 文章标签： pandas 笔记
于 2025-06-17 14:20:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/infinite_shadow/article/details/148687430

1.删除重复行

  • 使用duplicated()函数检测重复的行
    • 返回元素为布尔类型的Series对象
    • 每个元素对应一行，如果该行不是第一次出现，则元素为True
    • 参数keep：first(标记重复行第一次出现的位置)、last(标记重复行最后一次出现的位置，默认)、False(标记所有重复行的位置)
    • 参数subset：在每一行对比时，只比较此列数据是否有重复值
import numpy as np
import pandas as pd
def make_df(indexs,columns):
    data = [[str(j)+str(i) for j in columns] for i in indexs]
    df = pd.DataFrame(data=data,index=indexs,columns=columns)
    return df
df = make_df([1,2,3,4],list('ABCD'))
df.loc[1] = df.loc[2]
print(df)
print('#####################################')
print(df.duplicated())
print('#####################################')
print(df.duplicated(keep='first'))
print('#####################################')
print(df.duplicated(keep='last'))
print('#####################################')
print(df.duplicated(keep=False))
print('#####################################')
print(df.duplicated(subset=['A','B']))
  • 使用drop_duplicates()函数删除重复行
    • 如果两行不完全重复，则无法直接删除，须使用subset参数
    • 使用keep参数控制保留哪一数据
import numpy as np
import pandas as pd
def make_df(indexs,columns):
    data = [[str(j)+str(i) for j in columns] for i in indexs]
    df = pd.DataFrame(data=data,index=indexs,columns=columns)
    return df
df = make_df([1,2,3,4],list('ABCD'))
df.loc[1] = df.loc[2]
df.loc[1,'D'] = 'F'
print(df)
print('#####################################')
print(df.drop_duplicates(subset=['A', 'B', 'C']))
print('#####################################')
print(df.drop_duplicates(subset=['A', 'B', 'C'],keep='last'))

2.数据映射

映射的含义：创建一个映射关系表，把values元素和一个特定的标签或字符串绑定

  • replace()函数：替换元素
import numpy as np
import pandas as pd
data = np.array([
    [60, 70, 80, 90],
    [65, 75, 85, 95],
    [62, 72, 82, 92],
    [68, 78, 88, 98]
])
index = ['小明','小红','小王','小张']
columns = ['Python','Java','C++','C#']
df = pd.DataFrame(data=data,index=index,columns=columns)
print(df)
print('####################################')
df2 = df.replace({85:101,98:102})
print(df2)
  • map()函数：适合处理某一单独的列，一般用在Series，不能用于DataFrame，可以使用lambda函数
import numpy as np
import pandas as pd
data = np.array([
    [60, 70, 57, 90],
    [65, 55, 78, 95],
    [62, 93, 82, 92],
    [68, 78, 99, 98]
])
index = ['小明','小红','小王','小张']
columns = ['Python','Java','C++','C#']
df = pd.DataFrame(data=data,index=index,columns=columns)
print(df)
print('####################################')
print(df['Python'].map({60:600}))
print('####################################')
print(df['Python'].map({60:600,65:650,62:620,68:680}))
print('####################################')
print(df['Python'].map(lambda x : x * 10))
print('####################################')
df['Pandas'] = df['Python'].map(lambda x : x * 10)
print(df)
print('####################################')
df['Java成绩是否及格'] = df['Java'].map(lambda n :'及格' if n>=60 else '不及格')
print(df)
print('####################################')
def fn(n):
    if n < 60:
        return '不及格'
    elif n < 80:
        return '及格'
    else:
        return '优秀'
df['C++等级'] = df['C++'].map(fn)
print(df)
  • rename()函数：替换索引
    • 默认修改行索引名
    • 使用axis=1修改列索引名
    • 使用index和columns参数控制修改行或者列索引名
import numpy as np
import pandas as pd
data = np.array([
    [60, 70, 57, 90],
    [65, 55, 78, 95],
    [62, 93, 82, 92],
    [68, 78, 99, 98]
])
index = ['小明','小红','小王','小张']
columns = ['Python','Java','C++','C#']
df = pd.DataFrame(data=data,index=index,columns=columns)
print(df)
print('####################################')
print(df.rename({'小明':'张三'}))
print('####################################')
print(df.rename({'Python':'JavaScript'},axis=1))
print('####################################')
print(df.rename({'Python':'JavaScript'},axis=1))
print('####################################')
print(df.rename(index={'小王':'李四'}))
print('####################################')
print(df.rename(columns={'Java':'JavaScript'}))
  • reset_index()函数和set_index(keys=[''])函数：重置索引及设置行索引
    • reset_index()：重置索引，原行索引会变为一列数据，此列数据的列索引为index
    • set_index(keys=[''])：设置行索引，参数keys，设置某一列为行索引，原行索引消失
import numpy as np
import pandas as pd
data = np.array([
    [60, 70, 57, 90],
    [65, 55, 78, 95],
    [62, 93, 82, 92],
    [68, 78, 99, 98]
])
index = ['小明','小红','小王','小张']
columns = ['Python','Java','C++','C#']
df = pd.DataFrame(data=data,index=index,columns=columns)
print(df)
print('####################################')
print(df.reset_index())
print('####################################')
print(df.set_index(keys=['Java']))
  • apply()函数：即支持Series，也支持DataFrame
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.random.randint(0,10,size=(5,3)),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
#用于Series,x为Series中的元素
print(df['Python'].apply(lambda x : True if x>5 else False))
print('#################################')
#用于DataFrame,可用axis控制行列,x是DataFrame中某列或某行的Series数据
print(df.apply(lambda x : x.mean(),axis=0))
print('#################################')
print(df.apply(lambda x : x.mean(),axis=1))
print('#################################')
#自定义方法
def fn(x):
    return (np.round(x.mean(),1),x.count())
print(df.apply(fn,axis=1))
print('#################################')
#DataFrame专有方法，其中x是每个元素
print(df.applymap(lambda x : x + 100))
  • transform()函数
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.random.randint(0,10,size=(5,3)),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
#用于Series
print(df['Python'].transform([np.sqrt,np.exp]))
print('#################################')
#用于DataFrame
def convert(x):
    if x.mean() > 5 :
        return x * 10
    return x * (-10)
print(df.transform(convert)) #处理每一行
print('#################################')
print(df.transform(convert,axis=1)) #处理每一列
print('#################################')

 3.异常值检测和过滤

  • describe()：查看每一列的描述性统计量
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.random.randint(0,10,size=(5,3)),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.describe())
print('#################################')
print(df.describe([0.01,0.3,0.9]))
print('#################################')
#当列数过多时，可用.T转秩
print(df.describe([0.01,0.3,0.9]).T)
  • std()函数：可以求得DataFrame对象每一列的标准差
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.random.randint(0,10,size=(5,3)),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.std())
  • drop()函数：删除特定索引
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.random.randint(0,10,size=(5,3)),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.drop('A'))
print('#################################')
print(df.drop('Python',axis=1))
print('#################################')
print(df.drop(index='E'))
print('#################################')
print(df.drop(columns='Pandas'))
#删除多列多行
print(df.drop(index=['A','B'],columns=['Python','Numpy']))
  • unique()函数：求唯一，去重
    • DataFrame没有unique，得使用Series调用
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df['Python'].unique())
  • query()函数：按条件查询
    • ==、>、<
    • and，&
    • or，|
    • in
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.query('Python == 68'))
print('#################################')
print(df.query('Python > 62 and Numpy == 75'))
print('#################################')
print(df.query('Python > 62 & Numpy == 75'))
print('#################################')
print(df.query('Python > 62 or Numpy == 75'))
print('#################################')
print(df.query('Python in [68,62,90]'))
print('#################################')
#使用变量，前面需要加@
n = 60
print(df.query('Python == @n'))
  • df.sort_values()函数和df.sort_index()函数：排序
    • df.sort_values()函数：根据值排序
      • 默认按照列名排序，默认升序
      • 参数ascending：是否升序，默认True(升序)，False(降序)
    • df.sort_index()函数：根据索引排序(不常用)
      • 默认是对行索引进行排序，默认是升序
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
#df.sort_values()函数
print(df.sort_values('Python'))
print('#################################')
print(df.sort_values('Python',ascending=False))
print('#################################')
print(df.sort_values('A',axis=1,ascending=False))
print('#################################')
#df.sort_values()函数
print(df.sort_index(ascending=False))
print('#################################')
print(df.sort_index(ascending=False,axis=1))
  • info()函数：查看数据信息
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.info())

4.抽样

  • 使用.take()函数排序
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
print(df.take([1,0,2])) #行排列
print('#################################')
print(df.take([1,0,2],axis=1)) #列排列
print('#################################')
print(df.take([1,0,2],axis=1)) #列排列
  • 无放回抽样 
    • 借助np.random.permutation()函数随机排序
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
#随机排列
np = np.random.permutation([0,1,2])
#无放回抽样
print(df.take(np))
  • 有放回抽样
import numpy as np
import pandas as pd
df = pd.DataFrame(
    data=np.array([
    [60, 70, 80],
    [65, 75, 85],
    [62, 72, 82],
    [68, 78, 88],
    [68, 78, 88],
]),
    index=list('ABCDE'),
    columns=['Python','Numpy','Pandas']
)
print(df)
print('#################################')
np = np.random.randint(0,3,size=5)
#无放回抽样
print(df.take(np))

知识点为听课总结笔记，课程为B站“千锋教育Pandas数据分析从入门到实战，零基础小白保姆级Python数据分析教程”：001_Pandas_Pandas介绍_哔哩哔哩_bilibili

数据分析-8-数据采集与处理之数据预处理
qq_20466211的博客
03-11 178
数据预处理
机器学习笔记-LightGBM
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-02 1171
LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内存消耗。
Pandas根据字段(列)查看具体有哪些重复的数据
theskylife的博客
06-22 3万+
1.场景描述 近日，在进行数据整理时，需要根据某些列来找出具体重复的数据有哪些，废话不多说，先把图放上先。 import pandas as pd test_df=pd.DataFrame({'name':['张三','李四','王五','张三','李四','王五','张三'], 'level':[10,3,8,14,2,3,18], 'info':['吵闹','安静','中等','吵闹','安静','安静','吵闹'],
pandas，根据某几列筛选出重复记录，is_unique与duplicated
jieru_liu的博客
06-26 4555
is_unique与duplicated，根据一列某几列筛选重复记录
pandas---删除重复行、映射、异常值检测与过滤、抽样
weixin_43961909的博客
06-15 3261
返回布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True。映射的含义：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定。唯一，去重，DataFrame没有unique，Series调用unique。，map()函数中可以使用lambda函数，适合处理某一单独的列。：既支持 Series，也支持 DataFrame。使用duplicated()函数检测重复的行。可以求得DataFrame对象每一列的标准差。查看每一列的描述性统计量。
Pandas 模块-操纵数据(7)-检测是否重复 .duplicated()
一分耕耘一分收获
12-09 6749
数据重复是一个特别普遍的现象，但不一定是用户所希望看到的。无论是从数据存储，还是数据利用角度，过多冗余重复的数据都会带来不必要的开支。首先，我们要能检测相关数据是否重复。 Dataframe.duplicated(subset: 'Optional[Union[Hashable, Sequence[Hashable]]]' = None, keep: 'Union[str, bool]' = 'first')
Pandas 找出并查看数据中的重复行
Tian_CMCC
11-27 1万+
dup_row = data.duplicated(subset=['用户编号', '统计日期']) data.insert(0, 'is_dup', dup_row) data[data['is_dup'] == True]
数据分析-笔记
最新发布
m0_47147246的博客
01-15 527
数据分析知识积累过程
暑期数学建模导论----数据处理与拟合模型
2301_76637544的博客
07-25 1838
今天是自学的第一天，让我们跟随着夏令营的节奏一起进步吧！声明：学习内容来源于开源学习平台Datawhale现在进入到正文部分啦，我现在就读的专业是数据科学大数据专业，所以对这一块的内容也算是有一定的基础，所以应该会学习的比较轻松，这篇笔记（心得）是在学习的过程中，边学边记录的，如果我的理解有误，还望各位路过的佬们批评指正！！！
【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch10 KNN法
2201_76026029的博客
08-19 1327
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了：网友阡之尘埃的Python机器学习07——K近邻。
pandas处理表中的重复数据
qq_42573767的博客
08-13 764
找到 id 和 uuid 都重复的记录 # 标记出同时重复的 id 和 uuid。4.drop_duplicates对重复数据进行去重，保证数据唯一。print("同时重复的 id 和 uuid 的数据:")import pandas as pd # 示例数据。二、对筛选出的重复数据进行去重，只保留一条记录。通过这种方法，你可以筛选出在。# 筛选出同时重复的记录。# 去重，只保留一条记录。列中同时都重复的数据。
pandas：找出、删除重复的数据（Python）
热门推荐
weixin_43887421的博客
03-22 4万+
pandas：找出、删除重复的数据（Python）前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 pandas.DataFrame.duplicated 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.py
如何用Pandas筛选出多列值相同的行？
cda2024的博客
11-29 780
在数据处理和分析过程中，我们经常需要从大量的数据中筛选出特定的信息。对于那些熟悉Python的人来说，Pandas是一个非常强大的工具，可以帮助我们高效地完成这些任务。今天，我们就来探讨一下如何使用Pandas库筛选出多列值相同的行。这不仅是一个实用的技巧，也是数据清洗和预处理中常见的需求之一。
pandas怎么筛选出多列值相同的行？
yjq125931902的博客
11-22 1068
在数据处理和分析过程中，我们经常需要从大量的数据中筛选出特定的信息。对于那些熟悉Python的人来说，Pandas是一个非常强大的工具，可以帮助我们高效地完成这些任务。今天，我们就来探讨一下如何使用Pandas库筛选出多列值相同的行。这不仅是一个实用的技巧，也是数据清洗和预处理中常见的需求之一。
Python学习之pandas模块duplicated函数的常见用法
分享型博主
10-26 1万+
函数的各种用法，例如查找重复项、删除重复项、指定列进行重复项的查找和删除、保留重复项的第一个或最后一个等等。会返回一个布尔数组，指示’col1’列中的每个值是否重复。删除重复项并保留最后一个：如果要删除重复项，但保留最后一个重复项，可以使用。函数的更多常见用法，可以根据具体需求选择合适的方式来处理数据中的重复项。将根据’col1’列的值对重复项进行排序，并保留第一个出现的重复项。上述代码中，首先创建了一个包含重复项的数据集，然后依次应用了列举的。将删除数据中的重复项，并仅保留每个重复组中的最后一个。
pandas重复值的处理
m0_70372647的博客
05-25 3315
在数据分析前，首先要进行数据采集。通常，采集到的原始数据大多数是不完整和不一致的“脏”数据，无法直接进行数据挖掘。为了提高数据挖掘的质量，产生了数据预处理技术。数据预处理包括数据清理、数据集成、数据变换、数据归约等。 数据清洗是发现并纠正数据文件中可识别的错误，如移除重复数据，处理缺失值和空格值，检测和过滤异常值，并检查数据一致性等。通过数据清洗不仅要使通过清洗后的数据变得可用，而且还要使数据变得更加适合进行后续的数据分析工作。那就介绍下数据重复值的处理。 原始数据集中往往会存在着许多重复数据。所谓
pandas删除重复数据
路在脚下
02-02 1万+
pandas中重复问题
pandas使用duplicated函数判断dataframe指定数据列的内容是否是重复内容（返回布尔值序列，True表示重复的行）、keep参数为first保留第一次出现的内容（第一次出现的不算重复
statistics+insight+vista+power
01-05 397
pandas使用duplicated函数判断dataframe指定数据列的内容是否是重复内容（返回布尔值序列，True表示重复的行）、设置keep参数为first保留第一次出现的内容（第一次出现的不算重复）
Panda筛选出某列值相同的行
43FATBIRD的专栏
01-15 1万+
比如DataFrame有两列，[luid,message] 现在我想挑选出相同人发送的信息 那么代码如下： # 筛选出luid相同的行 subData = trainData.loc[(trainData['luid']==user)]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值