python pandas dataframe drop_duplicates 去重

原创 已于 2022-02-14 17:01:52 修改 · 863 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言 #后端

于 2022-02-14 16:58:24 首次发布
本文详细介绍了Pandas库中drop_duplicates()函数如何高效去重，包括参数说明、使用示例以及在实际数据处理中的应用场景。重点讲解了subset、keep和inplace参数的选择与作用。

drop_duplicates()去重

去重在应用当中经常碰到，特别是数据库操作时，因为脏写造成重复数据，重复数据，在进行数据统计时，会严重影响数据的准确性，因此怎么去重? pandas提供了优雅的去复方法，drop_duplicates()

data.drop_duplicates(subset=[列名],keep='first/last/false',inplace=True/False)

  • subset 指定检测重复数据的列名，默认为所有列
  • keep 指定去重去保留的数据项，first 去掉除第一个外的所有重复项  last 去掉除最后一个外的重复项 , False 不保留重复项，默认为first
  • inplace True在原有的DataFrame上操作，类似于传址修改，False复制一个副本去重,默认False

下面咱们通过代码，对该方法进行解释

以下代码截图来自Jupyter中文集成版(Python整合版)

https://github.com/DaiMaBang/Jupyterhttps://github.com/DaiMaBang/Jupyter

 不传递任何参数，直接根据默认值去重

 指定按'sex'列进行云重，这样，sex为男和女的，各自保留一行

zhlkh
关注
Pandas进行drop_duplicates数据去重
Mr数据杨
05-15 768
Pandas 是 Python 中最常用的数据分析库之一，提供了强大的数据操作功能。其中，是一个非常实用的函数，广泛应用于数据去重的场景，特别是在处理数据分析、数据清理和数据预处理的过程中。去重是清理数据的一项基础任务，它能有效减少冗余信息，保证数据的唯一性和准确性。本文将详细讲解如何使用 Pandas 的函数，帮助读者掌握其基本用法和在实际场景中的应用。本文适合具备一定 Python 基础的自学编程者，目标是通过实战操作理解和掌握的不同用法及其背后的逻辑，提升数据处理的能力。
Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)
09-16
主要介绍了Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pandas 使用DataFrame.append方法得到的数据使用DataFrame.drop_duplicates方法去重失败，问题在数据类型不一致
cbszju的博客
08-30 1252
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html#pandas.DataFrame.drop_duplicates https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Dat...
DataFrame 数据去重
weixin_30849591的博客
03-21 5229
df.head() >>> Price Seqno Symbol time 0 1623.0 0.0 APPL 1473411962 1 1623.0 0.0 APPL 1473411962 2 1623.0 0.0 APPL 1473411963 3 1623.0 0.0 APPL 1473411963 4 1649.0 1.0 APPL 1473411963...
pandas的drop_duplicates无法去重问题
人太健忘了，需要有个地方记录
01-04 793
之前没研究过pandas的去重方法，今天用了一下，发现这个方法并不是那么好用，我的需求是去除所有列的重复值，并保留第一个重复的值，按我的想法应该是下面这样写。当然这样数据的索引是无法跟之前的对应起来了，所以我猜pandas是想保留之前的数据的对应关系的，一旦有操作要破坏这种对应，它就不会执行。如图所示，并没有删除重复值，所以我只能一个一个列的删，删完在重新拼接在一起，但是结果却不尽如人意，
pandas.DataFrame.drop_duplicates 用法介绍
09-16
`pandas.DataFrame.drop_duplicates` 是一个非常实用的功能，用于处理数据框 (`DataFrame`) 中的重复行。这个函数在数据预处理阶段尤其重要，因为它可以帮助确保分析的数据是唯一的，避免因重复记录导致的错误统计。...
python pandas dataframe 去重函数的具体使用
09-16
总的来说，`pandas.DataFrame.drop_duplicates`是处理DataFrame重复行的高效工具，通过灵活运用`subset`、`keep`和`inplace`参数，可以满足不同场景下的去重需求。理解并熟练掌握这些用法，将极大地提升我们在数据...
Pandas之drop_duplicates:去除重复项方法
09-20
总结一下，Pandas的`drop_duplicates`方法是处理DataFrame中重复数据的强大工具。通过合理使用`subset`、`keep`和`inplace`参数，我们可以有效地对数据集进行去重处理，为数据分析提供准确可靠的数据基础。希望本次...
Python Pandas去重复数据drop_duplicates详解
Disany的博客
09-13 4万+
pandas.DataFrame.drop_duplicates DataFrame.drop_duplicates（subset = None,keep ='first',inplace = False ） 参数 subset：列标签，可选 keep： {‘first’, ‘last’, False}, 默认值 ‘first’ first：删除第一次出现的重复项。 last： ...
Python的函数drop_duplicates参数说明
MachineDeepLearning
08-10 5611
根据数据的不同情况及处理数据的不同需求，通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。 1. 去除完全重复的行数据 data.drop_duplicates(inplace=True) 2. 去除某几列重复的行数据 data.drop_duplicates(subset=['A','B'],keep='first',inplace=True) subset： 列名，可选，默认为None keep： {‘first’, ‘las
python3中的drop_duplicates函数（对数据进行去重处理）
妖白的奇幻漂流世界
05-14 3万+
我们知道这个函数是去重处理函数 ，单列进行处理比较好理解但是如果多列进行处理具体啥意思呢？用上述数据表示：简单理解 如果df_part_1.drop_duplicates(['user_id','behavior_type'], 'last'）这句话的意思就是 这两列元素一样的话 就相当于重复（只看这两类 其他列重复不重复没有一点关系）  重复了我们就要去重，对吧。那么既然重复这么多 我们最后还是...
Pandas数据处理3、DataFrame去重函数drop_duplicates()详解
红目香薰
02-14 5419
Pandas数据处理3、DataFrame去重函数drop_duplicates()详解 前言 环境 基础函数的使用 drop_duplicates函数 subset参数测试 Keep参数测试 全都删掉【keep=False】 留第一次出现的【keep='first'】 留最后一次出现的【keep='last'】 ignore_index参数测试 ignore_index=True重新排序 ignore_index=False不重新排序 总结
Pandas数据去重：drop_duplicates函数详解
W_weiying的博客
01-15 1万+
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) 参数解释： subset: 列名，默认所有的列 keep: 是否保留{‘first’, ‘last’, False}，keep= 'first' 表示去重时每组重复数据保留第一条数据，其余数据丢弃； keep='last' 表示去重时每组重复数据保留最后一条...
pandas 笔记：Drop_duplicates
qq_40206371的博客
05-20 357
去除Pandas中的重复列。
Pandas知识点-drop和drop_duplicates最全总结
weixin_43790276的博客
03-08 3307
pandas系列。
Pandas之drop_duplicates：去除重复项
热门推荐
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
11-17 33万+
本文，我们讲述Pandas如何去除重复项的操作，我们选择一个评价数据集来演示如何删除特定列上的重复项，如何删除重复项并保留最后一次出现，以及drop_duplicates的默认用法
『Python - Pandas』drop_duplicates方法失效的探索及一种解决方法
m0_47149835的博客
12-03 2362
drop_duplicates 方法失效的原因以及相应解决方案
Python Pandas中drop_duplicates方法失效的原因及其解决方案
qq_42878026的博客
06-22 1271
有时，数据帧的索引可能干扰drop_duplicates方法。调整参数：data = data.drop_duplicates(subset=[‘column1’, ‘column2’], keep=’first’)应用drop_duplicates方法：data = data.drop_duplicates()应用drop_duplicates方法：data = data.drop_duplicates()应用drop_duplicates方法：data = data.drop_duplicates()
Python进阶：Pandas -- 清理重复数据
创作高质量博文，分享知识，共同进步！
02-27 4088
🌵 深入探索Python进阶之路，Pandas库成为我们清理重复数据的得力助手！🔥 在数据处理的旅程中，重复数据常常成为我们的绊脚石。但是，借助Pandas的`drop_duplicates()`函数，我们可以轻松地去重，让数据更加整洁！🔍 在这个过程中，我们深入了解了`drop_duplicates()`的参数，如`subset`、`keep`等，以便更灵活地处理数据。📕 回顾与收获时刻，我们感慨Pandas的强大与便捷，同时也期待与您共同成长，探索更多数据处理的奥秘！🤗
pandas dataFrame drop_duplicates
最新发布
08-21
<think>我们面对的问题：如何在含有嵌套字段的DataFrame中使用drop_duplicates去重？ 根据之前的讨论，嵌套字段（如JSON字符串、字典等）不能直接被pandas的内置函数处理。因此，我们需要先将嵌套字段展开，然后去重，或者自定义去重规则。 步骤： 1. 解析嵌套字段：将嵌套字段（如JSON字符串）解析为多个新列。 2. 使用drop_duplicates：基于这些新列（或结合其他列）进行去重。 3. 恢复数据结构（可选）：如果希望保持原始嵌套结构，去重后可以将展开的列重新合并为嵌套字段。 注意：drop_duplicates默认基于所有列进行去重，但我们可以通过subset参数指定要依据的列（包括展开后的列）。 示例： 假设我们有如下DataFrame，其中details列是包含嵌套信息的JSON字符串：</think># Pandas DataFrame 中处理嵌套字段的去重操作 在 Pandas 中处理包含嵌套字段（如 JSON 或字典结构）的 DataFrame 去重操作，需要先解析嵌套字段，然后进行去重。以下是完整解决方案： ## 完整解决方案 ### 1. 解析嵌套字段并去重 ```python import pandas as pd import json # 创建示例数据（含嵌套字段） data = { 'id': [1, 2, 3, 4, 5], 'details': [ '{"name": "Alice", "age": 25, "scores": {"math": 90, "english": 85}}', '{"name": "Bob", "age": 30, "scores": {"math": 78, "english": 92}}', '{"name": "Alice", "age": 25, "scores": {"math": 90, "english": 85}}', # 重复项 '{"name": "Charlie", "age": 28, "scores": {"math": 88, "english": 90}}', '{"name": "Bob", "age": 30, "scores": {"math": 78, "english": 92}}' # 重复项 ] } df = pd.DataFrame(data) # 步骤1：解析嵌套字段为多个新列 df_expanded = pd.concat([ df.drop('details', axis=1), df['details'].apply(json.loads).apply(pd.Series), df['details'].apply(lambda x: pd.Series(json.loads(x)['scores'])) ], axis=1) # 步骤2：基于嵌套字段去重 df_deduplicated = df_expanded.drop_duplicates( subset=['name', 'age', 'math', 'english'], # 包含嵌套字段的展开列 keep='first' # 保留第一次出现的重复项 ) print("去重后的DataFrame:") print(df_deduplicated) ``` ### 2. 直接基于嵌套字段去重（不展开） ```python # 方法2：直接处理嵌套字段的去重 def extract_key(detail_str): """从嵌套字段提取关键特征作为去重依据""" detail = json.loads(detail_str) return ( detail['name'], detail['age'], detail['scores']['math'], detail['scores']['english'] ) # 创建临时列作为去重依据 df['composite_key'] = df['details'].apply(extract_key) # 基于复合键去重 df_deduplicated = df.drop_duplicates(subset=['composite_key'], keep='first') # 移除临时列 df_deduplicated = df_deduplicated.drop('composite_key', axis=1) print("\n直接基于嵌套字段去重的结果:") print(df_deduplicated) ``` ## 关键参数说明 `drop_duplicates()` 方法的关键参数： - `subset`：指定用于识别重复项的列（可包含嵌套字段展开后的列） - `keep`：控制保留哪个重复项 - `'first'`：保留第一次出现的重复项（默认） - `'last'`：保留最后一次出现的重复项 - `False`：删除所有重复项 - `inplace`：是否原地修改DataFrame（默认为`False`） ## 嵌套字段去重的最佳实践 1. **性能优化**： ```python # 只解析需要去重的字段，减少内存消耗 df['name'] = df['details'].apply(lambda x: json.loads(x)['name']) df_deduplicated = df.drop_duplicates(subset=['name'], inplace=False) ``` 2. **处理多层嵌套**： ```python # 提取多层嵌套字段作为去重依据 df['math_score'] = df['details'].apply(lambda x: json.loads(x)['scores']['math']) df_deduplicated = df.drop_duplicates(subset=['math_score'], keep='first') ``` 3. **自定义去重规则**： ```python # 基于嵌套字段的复杂规则去重 def custom_deduplication(row): detail = json.loads(row['details']) return detail['age'] > 25 and detail['scores']['math'] > 80 # 先过滤再去重 df_filtered = df[df.apply(custom_deduplication, axis=1)] df_deduplicated = df_filtered.drop_duplicates(subset=['id']) ``` ## 输出示例 ``` 去重后的DataFrame: id name age math english 0 1 Alice 25 90 85 1 2 Bob 30 78 92 3 4 ... 28 88 90 ``` ## 注意事项 1. **内存管理**：展开大型嵌套数据集可能消耗大量内存，建议分批处理[^3] 2. **缺失值处理**：嵌套字段可能包含缺失值，使用`df.dropna(subset=[...])`先清理[^1] 3. **数据类型**：确保数值字段正确转换为数字类型（如`astype(int)`） 4. **性能平衡**：直接解析嵌套字段比完全展开内存效率更高，但代码更复杂 > 所有操作默认返回新DataFrame，如需修改原数据需设置`inplace=True`[^2] ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值