Pandas 去掉重复项并统计个数

最新推荐文章于 2025-05-24 20:44:07 发布
原创 最新推荐文章于 2025-05-24 20:44:07 发布 · 1.4w 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Pandas

本文探讨了在Pandas中如何处理重复数据，除了传统的drop_duplicates()方法外，还介绍了使用sorted进行去重，并结合value_counts()进行计数。通过示例展示了在爬虫数据中，如何处理顺序不同的但实质相同的行，如'America England'和'England America'视为同一国家的合作。最后，展示了将value_counts()结果转化为DataFrame并设置列名的技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

感觉还是另外开一篇文章写关于去重，这里说的并不是使用"drop_duplicates()"的用法哟。

这是因为drop_duplicates() 只会一刀杀，对于一些超过一个data的行，就没法做到保留其中一个的功能了。

以下开始进入正题。

>>>country_counts
America 10
America England 1
England America 2
Canada America Hongkong 1
Korea 3

如同上图，我们可以看到“America England” 与 "England America" 只是顺序改变了。在爬虫豆瓣电影的过程中，其实这两个数据都是等同的，都是等于合作电影的国家名字。

当某些情况下，我们只需要统计他们的共同次数的时候，那怎么做呢？

最终的效果应该如同以下那样。

America 10
America England 3
Canada America Hongkong 1
Korea 3

那么就是运用sorted来去重了。

使用的方法如下：

data = [
        ['America',10],
        ['America England', 1],
        ['England America', 2],
        ['Canada America Hongkong',1],
        ['Korea', 3]
       ]

df = pd.DataFrame(data,columns=['a','b'])
df['a'] = df['a'].apply(lambda x:str(sorted(x.split(' '))))

print(df.groupby('a').sum())

 那么如果你这个df是之前经过数据处理了的，我们怎么把value_counts()的结果转换为Dataframe并设置列名呢？

这种时候就可以利用 rename_axis 跟 reset_index来达到这个目的了：

country_df = country_counts.rename_axis('country').reset_index(name = 'counts')

 

Pandas清洗数据：重复数据
小龙在线
10-04 993
在Pandas中可以使用duplicated方法查找重复数据，用drop_duplicates方法清除重复数据。
pandas统计重复值次数
qq_30309843的博客
04-26 1万+
pandas统计数据项重复值次数和删除 转：https://blog.youkuaiyun.com/qq_35203425/article/details/80830911 Pandas学习笔记之重复数据统计 https://blog.youkuaiyun.com/lansecheng/article/details/75085675 Pandas数据基础（索引、排序、连接、去重、分箱、异常处理） https:...
pandas处理表中的重复数据
qq_42573767的博客
08-13 793
找到 id 和 uuid 都重复的记录 # 标记出同时重复的 id 和 uuid。4.drop_duplicates对重复数据进行去重，保证数据唯一。print("同时重复的 id 和 uuid 的数据:")import pandas as pd # 示例数据。二、对筛选出的重复数据进行去重，只保留一条记录。通过这种方法，你可以筛选出在。# 筛选出同时重复的记录。# 去重，只保留一条记录。列中同时都重复的数据。
pandas数据处理--将txt中的数据进行去重统计数量
乱写乱画
08-10 1311
import pandas as pd import numpy as np from openpyxl import load_workbook import os import re class doWork: def __init__(self): self.txt_file_dir = "txt_file" self.excel_name1 = r"template.xlsx" # 模板文件 self.excel_name2 = r"sta.
数据透视表和公式法在Excel中实现去除重复计数的方法
最新发布
Smilecoc的博客
05-24 3499
数据透视表去重计数
Pandas快速入门之第三节使用pandas去重、合并、已经统计出现次数
YYLin
05-24 1万+
前言： 本节主要参考的连接有,https://blog.youkuaiyun.com/brucewong0516/article/details/82707492 本节主要介绍如何使用pandas去重、合并、以及根据规则统计出现数据出现的次数，其主要包括三个函数: drop_duplicates()、merge() 、groupby() 。 1、dro...
【pandas_不重复项计数】
gf1321111的博客
12-31 896
pandas_不重复项计数
pandas 数据去重
qq_43192537的博客
07-11 951
四个小案例 各不相同 数据源下载 看案例1 # -*- codeing = utf-8 -*- import pandas as pd # 读取csv格式的数据 df = pd.read_csv("../data/IMDB-Movie-Data.csv") # 统计导演的人数 法1 director_count1 = len(set(df['Director'].tolist())) print(director_count1) # 统计导演的人数 法2 director_count2 = len(se
pandas实现分组去重计数功能
longwei92的博客
07-03 1万+
用pd.Series.nunique在pandas中实现分组计数功能 grouped = data.groupby(["col1", "col2"]) grouped.agg({"col3": "count", "col4": pd.Series.nunique})
pandas去除重复列的实现方法
09-19
本文将详细介绍如何使用Pandas去除重复列，特别是针对标题和描述中提到的问题。 首先，我们要了解Pandas中的DataFrame对象，它是Pandas的主要数据结构，可以看作是一个表格型的数据集，包含行索引和列索引。当我们...
python excel处理重复行并统计个数_懂Excel就能轻松入门Python数据分析包pandas(五)：重复值处理...
weixin_39875028的博客
11-27 1333
经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas前言有时候数据中出现重复值，可能会导致最后的统计结果出现错误，因此，查找和移除重复值是数据处理中的常见操作。今天我们来看看 pandas 中是如何实现。Excel 处理重复值Excel 中直接提供了去除重复的功能，因此简单...
pandas之重复数据的查看、删除和提取（后附数据网盘链接）
2302_80061155的博客
01-15 1519
pandas之重复数据的查看、删除和提取
python pandas 分组后去重统计
热门推荐
weixin_43609275的博客
01-10 3万+
python pandas 分组后去重统计方法一方法二 有DataFrame： df = pd.DataFrame({ 'group': [1, 1, 2, 3, 3, 3, 4], 'param': ['a', 'a', 'b', np.nan, 'a', 'a', np.nan] }) print(df) # group param # 0 1 a #...
python笔记：pandas-统计非重复个数&非重复值
htuhxf的博客
08-21 6196
例如，有如下数字： df = pd.DataFrame({'a': ['A', 'A', 'A', 'B', 'C'], 'b': ['H', 'H', 'I', 'J', 'J']}) print(df) # 结果如下 a b 0 A H 1 A H 2 A I 3 B J 4 C J 方法：使用lambda函数： pt = ...
Python pandas一行代码实现分组非重复计数
爱吃干脆面的小潘
01-08 1941
上表data是销售记录表，现需要统计每个省份的动销的门店数量。 import pandas as pd data.groupby([“省份”]).agg()
Python进阶：Pandas -- 清理重复数据
创作高质量博文，分享知识，共同进步！
02-27 4028
🌵 深入探索Python进阶之路，Pandas库成为我们清理重复数据的得力助手！🔥 在数据处理的旅程中，重复数据常常成为我们的绊脚石。但是，借助Pandas的`drop_duplicates()`函数，我们可以轻松地去重，让数据更加整洁！🔍 在这个过程中，我们深入了解了`drop_duplicates()`的参数，如`subset`、`keep`等，以便更灵活地处理数据。📕 回顾与收获时刻，我们感慨Pandas的强大与便捷，同时也期待与您共同成长，探索更多数据处理的奥秘！🤗
pandas实现分类汇总，查找不重复的一 一对应数据
爱问西瓜爱大树的博客
08-28 3109
问题描述：统计出设备IP和设备名是不是一 一对应的关系，若是，找出这些一 一对应的组合。 1、读入数据 #-*- coding : utf-8 -*- #coding=utf-8 import pandas as pd #读入前先将文件通过记事本另存为utf-8格式 data= pd.read_csv("/home/admin/AI/Terminal_analyse/data.csv",encod...
pandas 与 pandasql 统计客户数去重
qq_34120015的博客
03-15 3759
import pandas as pd import numpy as np from pandasql import sqldf import datetime
pandas 筛选unique去重统计不同的值
cuisidong1997的博客
10-30 604
这两个方法作用很简单，都是求Series或Pandas中的不同值。而unique()方法返回的是去重之后的不同值，而nunique()方法则直接放回不同值的个数。如果Series或DataFrame中没有None值，则unique()方法返回的序列数据的长度等于nunique()方法的返回值（如上述代码中所展示的）。从上述结果可知, nunique(）可以通过参数dropna来自定义设置在统计不同值过程中是否需要包含None值，而unique()方法中没有可设置的参数，该方法在统计时无法排除None值。
pandas统计个数并去重
03-29
<think>好的，我现在需要帮助用户解决如何使用Pandas统计列中唯一值的数量并去除重复项的问题。首先，我应该回忆一下Pandas的相关方法，确保自己正确记得函数名称和参数。用户提到了两个任务：统计唯一值和去重。 对于统计唯一值，我记得Pandas有`nunique()`方法，可以返回某列中唯一值的数量。但需要确认是否需要排除缺失值，因为如果数据中有NaN的话，默认情况下`nunique()`是不计算NaN的。这点可能需要提醒用户注意，或者根据需求处理缺失值。另外，用户可能需要了解整个DataFrame中各列的唯一值数量，或者特定某一列的情况，所以应该分别说明这两种情况。 然后是去除重复项。Pandas的`drop_duplicates()`方法应该用在这里。需要说明这个方法的参数，比如`subset`用来指定依据哪些列来判断重复，`keep`参数决定保留哪一个重复项（第一个、最后一个还是全部不保留）。用户可能需要根据不同的列组合去重，比如示例中的引用[2]提到了使用subset参数，所以需要详细解释这点。 接下来，考虑到用户可能对数据清洗的整体流程不太熟悉，可能需要建议他们先处理缺失值，再处理重复值，这样数据会更干净。引用[1]提到Pandas处理缺失值的方法，所以可能需要结合这点，但用户的问题中没有直接提到缺失值处理，所以是否要主动提及呢？根据用户的问题，他们主要关注统计和去重，但或许可以简要提到数据清洗的顺序，这样回答会更全面。 然后，我需要考虑用户的实际应用场景。比如用户可能有一个大数据集，处理时需要效率，可以建议他们使用`keep=False`来完全删除所有重复项，或者根据情况保留第一个或最后一个。另外，统计唯一值时，如果数据量很大，可能需要考虑性能问题，但Pandas的方法通常已经优化过，所以可能不需要特别说明，除非用户的数据极大。 用户的问题中还提到了引用[3]，其中提到统计重复次数并按次数排序保存。这可能涉及到使用`value_counts()`方法，但用户的问题主要是统计唯一值的数量，所以是否需要在这里提到`value_counts()`呢？比如，如果用户不仅想知道数量，还想知道每个值的出现次数，可以建议他们使用这个方法。但根据问题描述，用户主要需要唯一值的数量，所以可能不需要详细展开，但可以作为补充信息。 现在需要组织步骤。首先，统计唯一值的数量，分整个DataFrame和特定列两种情况。然后，去除重复项，分默认所有列和指定列两种情况。给出代码示例，并解释参数的作用。最后，可能给出一个综合应用的例子，结合统计和去重，并保存结果，如引用[3]中的需求。 需要确保代码示例正确。比如，使用`df.nunique()`来统计各列的唯一值数量，对于特定列使用`df['列名'].nunique()`。去重时，`df.drop_duplicates()`默认保留第一个，可以通过`keep='last'`或`keep=False`来改变行为。同时，`subset`参数的应用，如引用[2]中的例子。 另外，要检查是否需要导入Pandas和读取数据，但可能用户已经知道这些基础步骤，所以可以假设df已经存在，或者在示例中包含读取数据的部分？比如给出一个完整的示例流程，从读取数据到处理。 可能还需要提醒用户，去重后的DataFrame需要赋值给新变量或者用`inplace=True`参数，否则原数据不会改变。比如，`df = df.drop_duplicates()`或者`df.drop_duplicates(inplace=True)`。 总结步骤： 1. 统计唯一值数量： - 整个DataFrame各列：`df.nunique()` - 单列：`df['列名'].nunique()` 2. 去除重复项： - 所有列：`df.drop_duplicates()` - 指定列：`df.drop_duplicates(subset=['列1', '列2'])` - 保留策略：`keep`参数 3. 综合应用：统计后去重，保存结果。 同时，需要结合引用内容，比如引用[2]中的subset参数，引用[3]中的统计重复次数并排序，可能在补充说明中提到使用`value_counts()`来查看每个值的重复次数，并按需排序。 最后，确保回答结构清晰，分点说明，代码格式正确，使用中文，符合用户的要求。可能还需要生成相关问题，如如何按重复次数排序，如何处理缺失值后再去重等。</think>### 统计唯一值数量与去重操作步骤 #### 一、统计列中唯一值数量 1. **单列唯一值统计** 使用 `Series.nunique()` 方法统计指定列的唯一值数量。例如统计“姓名”列： ```python unique_count = df['姓名'].nunique() print(f"姓名列共有 {unique_count} 个唯一值") ``` 2. **全表各列唯一值统计** 使用 `DataFrame.nunique()` 一次性获取所有列的唯一值数量： ```python unique_counts = df.nunique() print("各列唯一值数量统计:") print(unique_counts) ``` #### 二、去除重复项操作 1. **基于所有列去重** 默认保留第一个出现的重复行： ```python df_deduplicated = df.drop_duplicates() ``` 2. **基于指定列去重** 使用 `subset` 参数指定判断重复的列，如根据“姓名”和“年龄”去重： ```python df_deduplicated = df.drop_duplicates(subset=['姓名', '年龄']) ``` 3. **自定义保留策略** - `keep='first'`（默认保留首次出现） - `keep='last'`（保留最后一次出现） - `keep=False`（删除所有重复行） 示例： ```python df_no_duplicates = df.drop_duplicates(keep=False) ``` #### 三、综合应用示例 若需统计每个值的重复次数并按频率排序（如引用[3]场景）： ```python # 统计重复次数并排序 value_counts = df['列名'].value_counts().sort_values(ascending=False) # 保存结果 value_counts.to_csv('重复次数统计.csv') ``` #### 四、注意事项 - **处理缺失值后再去重**：缺失值（NaN）会被视为相同值参与去重，建议先处理缺失值（如引用[1]方法）[^1] - **内存优化**：对大型数据集操作时，可先筛选必要列再处理以提升效率
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值