pyspark dataframe去重

最新推荐文章于 2024-10-06 00:51:11 发布

头发又黑又密

最新推荐文章于 2024-10-06 00:51:11 发布

阅读量1.2w

点赞数 1

分类专栏： pyspark 文章标签： pyspark dataframe dataframe去重

本文链接：https://blog.youkuaiyun.com/weixin_42864239/article/details/99672657

版权

pyspark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了如何在PySpark中进行DataFrame的去重操作，包括整行完全相同的去重以及基于特定列去重的方法，帮助理解并实现DataFrame的数据清洗。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pyspark dataframe 去重方法

pyspark dataframe 去重
- 整行去重
- 某一列或者多列相同的去除重复

pyspark dataframe 去重

两种去重，一种是整行每一项完全相同去除重复行，另一种是某一列相同去除重复行。

整行去重

dataframe1 = dataframe1.distinct()

某一列或者多列相同的去除重复

df = df.select("course_id", "user_id", "course_name")
# 单列为标准
df1 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id"]])
# 多列为标准
df2 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id", "course_name"]])