pandas数据去重：drop_duplicates与duplicated函数

原创 已于 2022-03-09 10:18:03 修改 · 7.7k 阅读 · 56 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python

于 2022-03-08 18:34:38 首次发布
本文详细介绍了Pandas库中用于数据去重的两个关键函数：duplicated()和drop_duplicates()。duplicated()函数返回布尔型Series，标记数据框中重复的行；drop_duplicates()函数则根据指定条件删除重复行。参数subset用于选择特定列进行去重，keep参数决定了保留第一次出现('first')还是最后一次出现('last')的记录，或者删除所有重复('false')的记录。inplace参数决定是否直接在原始数据框上进行操作。通过实例展示了如何使用这两个函数进行数据清洗。

1 drop_duplicates与duplicated参数：

  • DataFrame.duplicated(subset=None,keep=‘first’)
  • DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False)
    • subset：列标签，可选, 默认使用所有列,只考虑某些列来识别重复项传入列标签或者列标签的序列
    • keep:{‘first’，‘last’，False}，默认’first’

      • first：删除第一次出现的重复项。

      • last：删除重复项，除了最后一次出现。

      • “false”：删除所有重复项

    • inplace:是否替换原数据，默认是生成新的对象，可以复制到新的DataFrame,如果设置为True则乎替换原有数据，通常不建议设置为True
    • inplace参数的定义在pandas中有点类似，上述说法也可以对比rename函数中的inplace参数的作用

https://zhuanlan.zhihu.com/p/470913844

2 duplicated函数

  • subset=None默认情况下去重
import pandas as pd 
df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})
df
df.duplicated()

在这里插入图片描述

  • 显然是全部列都标识作为去重条件
  • subset=[‘brand’,‘style’] 时候
    在这里插入图片描述
  • 可以看到用duplicated函数返回的都是布尔类型的结果，为方便展示，接下来的参数功能使用drop_duplicates函数结果
  • keep（默认为保留第一个“first”）
    在这里插入图片描述
  • keep（保留最后一个“last”）在这里插入图片描述
  • keep（删除所有重复值“false”）
    在这里插入图片描述
  • inplace=True 对原DF进行修改，不返回新的对象
    在这里插入图片描述
  • inplace=False 不对原DF进行修改，返回新的对象
    在这里插入图片描述

参考资料

  • https://zhuanlan.zhihu.com/p/58976044
  • https://blog.youkuaiyun.com/weixin_42097208/article/details/112403720
Pandas 数据处理：重复值处理 - duplicated 和 drop_duplicates
StyVue的博客
09-21 2357
在数据处理过程中，经常会遇到数据中存在重复值的情况。Pandas 是一个功能强大的数据分析库，提供了许多用于处理重复值的方法。本文将介绍 Pandas 中的两个重复值处理方法：duplicated 和 drop_duplicates，并提供相应的源代码示例。
pandas使用drop_duplicates函数删除dataframe数据中重复的数据行（默认保存重复数据行中第一次出现的数据行）
statistics+insight+vista+power
08-02 690
pandas使用drop_duplicates函数删除dataframe数据中重复的数据行（默认保存重复数据行中第一次出现的数据行）
pandas中的duplicated()和drop_duplicates()
yimoxi_no1的博客
02-07 1054
方法用于标记重复行，返回一个布尔值Series，表示哪些行是重复的。keep'first'（默认）：标记除了第一次出现的记录外，其他重复行。'last'：标记除了最后一次出现的记录外，其他重复行。False：标记所有重复的行，包括第一次和最后一次出现的行。subset参数允许你只根据特定的列来判断重复项。结合和布尔索引，可以删除重复的行。2 2 Bob 306 5 Eve 45解释：通过，我们选择保留重复项中最后一次出现的记录。是一个非常实用的方法，可以帮助你快速清理重复的数据。
Pandas 模块-操纵数据(7)-检测是否重复 .duplicated()
一分耕耘一分收获
12-09 6887
数据重复是一个特别普遍的现象，但不一定是用户所希望看到的。无论是从数据存储，还是数据利用角度，过多冗余重复的数据都会带来不必要的开支。首先，我们要能检测相关数据是否重复。 Dataframe.duplicated(subset: 'Optional[Union[Hashable, Sequence[Hashable]]]' = None, keep: 'Union[str, bool]' = 'first')
Pandas 模块-操纵数据(8)-去除重复行 .drop_duplicates()
一分耕耘一分收获
12-09 5058
DataFrame.drop_duplicates(subset: 'Optional[Union[Hashable, Sequence[Hashable]]]' = None, keep: 'Union[str, bool]' = 'first', inplace: 'bool' = False, ignore_index: 'bool' = False)
pandas 笔记：Drop_duplicates
qq_40206371的博客
05-20 355
去除Pandas中的重复列。
Python源码-Pandas数据处理-重复数据处理（df.drop_duplicates方法）.zip
最新发布
05-25
Pandas库中的DataFrame对象提供了drop_duplicates方法，该方法是用于删除数据集中重复行的函数。 使用drop_duplicates方法时，首先需要导入Pandas库，然后加载数据到DataFrame中。该方法提供了不同的参数，允许用户...
pandas去重、删除重复数据之duplicated()
qq_27480007的博客
04-07 1803
pandas去重、删除重复数据之duplicated
python drop_duplicates()函数
08-17
在Python中，pandas库提供了drop_duplicates()函数来去除数据中的重复值。drop_duplicates()函数将返回一个新的DataFrame，其中不包含重复的行。 下面是一个使用drop_duplicates()函数的示例： ```python import ...
【Pandas】深入解析pandas中的统计汇总函数`duplicated()`
qq_38614074的博客
06-18 1583
函数是Pandas库中DataFrame和Series对象的一个方法，用于标识数据中的重复行或元素。默认情况下，该函数会检查连续行是否相同，并返回一个布尔序列，其中True表示该行是重复的，False表示该行是唯一的。通过调整参数，我们可以更灵活地控制重复数据的检测方式。函数是Pandas中用于识别和处理重复数据的一个非常有用的工具。通过深入了解其用法和参数，我们可以更准确地控制重复数据的检测方式，并采取相应的措施来处理它们。在数据分析过程中，及时识别和处理重复数据是确保数据质量和分析结果准确性的重要步骤。
Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)
09-16
主要介绍了Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pandas 去重函数 drop_duplicates() 和 选取重复行函数 duplicated()
weixin_41300650的博客
10-20 7014
1drop_duplicates() 返回删除重复行后的DataFrame，可以仅选择某些列。索引、时间型索引都是被忽略。 pandas.DataFrame.drop_duplicates 官方文档 方法： DataFrame.drop_duplicates(self, subset=None, keep='first', inplace=False) 参数： subs...
最细总结_Duplicated()找到(所有)重复项 / / Drop_duplicates()找出每组（第一个）重复项 / /找出每组（最后一个）重复项
louisliushu的博客
04-07 3267
Duplicated()找出重复项_找出所有重复项含本身 写简单些，就取3行数据 df_search.loc[:,['PCI','Longitude','Latitude']].duplicated(keep=False) 取出所有重复的项，那就简单了 df_search[df_search.loc[:,['PCI','Longitude','Latitude']].du...
python令人迷惑的duplicated和drop_duplicates()
weixin_43852674的博客
02-19 2万+
data={'state':[1,1,2,2,1,2,2,2],'pop':['a','b','c','d','b','c','d','d']} frame=pd.DataFrame(data) frame frame.shape $ (8,2) # 说明duplicated()是对整行进行查重，return 重复了的数据，且只现实n-1条重复的数据（n是重复的次数） frame[fra...
Python-drop_duplicates()
a18861856219的博客
10-10 828
是 Python 中 pandas 库提供的一个非常有用的函数，它用于从 DataFrame 或 Series 中删除重复的行或元素。这个函数通过比较指定列（或全部列，如果不指定的话）中的值来识别重复项，并允许用户选择保留第一个、最后一个或根据其他条件筛选出的重复项之一。
python | Pandas库数据预处理-重复值篇：drop_duplicates()函数及其subset参数、keep参数
m0_61523149的博客
04-09 5159
相关文章 python | Pandas库数据预处理-缺失值篇：info()、isnull()、dropna()、fillna()函数https://blog.youkuaiyun.com/m0_61523149/article/details/124009296 目录 原数据 导入数据 drop_duplicates()：去重函数 subset参数：设置去重参照列 keep参数：设置去重要保留的数据 原数据 导入数据 import pandas as pd student = pd.re.
duplicated(),.drop_duplicates()
Bobcanit的博客
09-26 679
对象的一个方法，用于删除重复的行。该方法返回一个新的数据帧，其中所有重复的行都被删除了。在这个示例中，第 4 行和第 5 行被删除了，因为它们与第 0 行具有相同的值。在这个示例中，第 4 行和第 5 行被标记为重复行，因为它们具有相同的值。对象的一个方法，用于查找重复的行。该方法返回一个布尔型的。，其中每个元素表示相应行是否是重复行。是 Pandas 中。是 Pandas 中。
熊猫删除重复行– drop_duplicates（）函数
从零开始的教程世界
07-20 1533
Pandas drop_duplicates（）函数语法 (Pandas drop_duplicates() Function Syntax) Pandas drop_duplicates() function removes duplicate rows from the DataFrame. Its syntax is: Pandas drop_duplicates（）函数从DataFram...
pandas判断和删除重复duplicated和drop_duplicates
热门推荐
Lavi的专栏
06-05 2万+
数据清理- 重复数据判断删除 1.函数 df.duplicated(subset=None, keep=‘first’) # 指定列数据重复项判断； # 返回：指定列重复行boolean Series df.drop_duplicates(subset=None, keep=‘first’, # 删除重复数据 inplace=False) # 返回：副本或替代 参数： subset=N...
python drop_duplicates()函数去重去不了
04-24
<think>好的，我现在需要解决用户提出的关于pandas的drop_duplicates函数无法正确去重的问题。首先，我得回忆一下自己对这个函数的了解，以及常见的问题原因。用户提到函数无法正确去重，可能涉及到几个方面，比如数据中的隐藏字符、索引问题、数据类型不一致，或者参数设置不正确等。 根据用户提供的引用内容，引用[1]提到索引问题可能导致drop_duplicates失效，比如索引相同可能让Pandas不认为行是重复的。解决方法包括重置索引。引用[2]和[3]则说明了drop_duplicates的基本用法和参数，如subset、keep、inplace等。这些参数如果设置不当，也会导致去重结果不符合预期。 接下来，我需要整理可能的原因和对应的解决方案。首先，索引问题确实是一个常见因素，尤其是在数据经过多次操作后，索引可能重复或者混乱。这时，使用reset_index()可能会有帮助。 然后是数据类型的问题。例如，同一列可能有不同的数据类型，如字符串和数值混合，或者存在NaN值，这些都会影响去重的判断。用户需要检查各列的数据类型是否一致，使用dtypes方法查看，并进行转换处理。 另外，隐藏字符或空格也是一个容易被忽视的问题。比如字符串前后有空格或不可见字符，导致看起来相同的值实际上被当作不同的处理。这时，使用strip()方法清理数据可能会有帮助。 参数设置是否正确也很重要。比如subset参数是否指定了正确的列，keep参数是否选择了保留第一个还是最后一个，或者是否保留所有重复项。如果用户没有正确设置subset，可能会漏掉某些需要去重的列，或者错误地包含不需要的列。 还有一个可能是浮点数的精度问题。例如，浮点数的小数部分由于精度问题导致看似相同的数值实际上有微小差异。这种情况下，可以考虑四舍五入或者转换为整数后再去重。 此外，检查是否有重复行实际存在。用户可能误以为数据中有重复，但实际数据存在细微差别，这时候需要先用duplicated()方法确认重复情况。 在解决方案中，我需要分步骤说明每个可能的原因和对应的处理方法，并提供代码示例，这样用户可以直接应用。例如，处理隐藏字符时，可以展示如何使用applymap和strip来清理数据；处理数据类型问题时，演示如何转换类型；参数设置方面，举例说明subset和keep的使用方法。 最后，还需要提醒用户注意inplace参数的使用，避免因为未正确保存结果而误以为函数失效。同时，建议用户在处理后使用shape或duplicated().sum()来验证去重效果。 总结下来，我需要将可能的原因逐一列出，并给出具体的解决步骤和代码示例，确保用户能够逐步排查和解决问题。同时，参考提供的引用内容，确保涵盖索引、数据类型、参数设置等方面的问题，并结合实际案例进行说明，使回答清晰易懂，切实帮助用户解决drop_duplicates无法正确去重的问题。</think>### drop_duplicates无法正确去重的原因及解决方案 #### 一、常见原因分析 1. **隐藏字符或空格干扰** 字符串列可能包含不可见字符（如换行符`\n`、制表符`\t`）或首尾空格，导致看似相同的值被误判为不同。例如： - 原始数据：`"apple "`（末尾空格） vs `"apple"` - 解决方法：使用`.str.strip()`清理字符串列[^3]。 2. **数据类型不一致** 同一列中存在混合数据类型（如字符串与数值共存），或`NaN`值的处理差异。例如： ```python df = pd.DataFrame({'A': [1, '1', np.nan, np.nan]}) ``` - `1`（整型）与`'1'`（字符串）会被视为不同值 - `np.nan`默认与自身不相等（需特殊处理）[^2]。 3. **索引干扰** 若数据帧存在重复索引，可能影响去重逻辑的判断。例如： ```python df.index = [0, 0, 1, 1] # 索引重复 ``` 4. **参数设置不当** - `subset`未指定关键列，导致未按实际业务逻辑去重 - `keep`参数误设为`'last'`或`False`（删除全部重复项） - 忘记`inplace=True`或未重新赋值，导致原数据未更新[^1]。 5. **浮点数精度问题** 浮点型数据因精度差异（如`3.0000000001` vs `3.0`）被误判为不同值。 --- #### 二、分步解决方案 ##### 步骤1：清理数据格式 ```python # 处理字符串列中的隐藏字符和空格 df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x) # 处理浮点数精度（保留4位小数） df = df.round(4) ``` ##### 步骤2：统一数据类型 ```python # 查看列数据类型 print(df.dtypes) # 强制转换列类型（示例：转为字符串） df['column'] = df['column'].astype(str) # 处理NaN值（统一替换为None） df = df.where(pd.notnull(df), None) ``` ##### 步骤3：重置索引 ```python df = df.reset_index(drop=True) ``` ##### 步骤4：正确配置参数 ```python # 明确指定关键列 + 保留首次出现 + 直接修改原数据 df.drop_duplicates(subset=['col1', 'col2'], keep='first', inplace=True) # 验证去重后数据量变化 print(f"去重前: {df.shape[0]}行, 去重后: {df.drop_duplicates().shape[0]}行") ``` ##### 步骤5：验证重复项 ```python # 查看重复行详情 duplicates = df[df.duplicated(subset=['col1'], keep=False)] print(duplicates.sort_values('col1')) ``` --- #### 三、完整案例演示 ```python import pandas as pd import numpy as np # 构造含多种问题的测试数据 data = { 'ID': [1, 1, 2, 2], 'Text': ['apple ', 'apple', 'banana\t', 'banana'], 'Value': [3.1415926, 3.1415, 2.71828, 2.718] } df = pd.DataFrame(data) # 1. 清理数据 df['Text'] = df['Text'].str.strip() df['Value'] = df['Value'].round(4) # 2. 去重操作 df_clean = df.drop_duplicates(subset=['ID', 'Value'], keep='first') print("去重结果:") print(df_clean) ``` ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

矮人三等

秀儿，是你吗秀儿？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值