3.2.3 掌握RDD转换算子 - 10. 去重算子 - distinct()

已于 2025-05-15 11:53:38 修改
阅读量275 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： Spark RDD 去重算子
于 2025-05-15 11:51:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/147979339

本任务通过Spark的RDD distinct() 算子，学习了如何对RDD中的数据进行去重操作。distinct() 算子会移除RDD中的重复元素，返回一个新的RDD，类似于集合的去重特性。在案例演示中，我们创建了一个包含重复整数的RDD，并通过distinct()算子去重，最后通过collect方法查看了去重后的结果。在课堂练习中，我们进一步应用了distinct()算子，对一个包含IP地址的文件进行处理。首先读取文件内容创建RDD，然后使用distinct()去重，并通过count和collect方法分别查看去重前后的IP地址数量和具体内容。通过这些操作，我们掌握了distinct()算子的使用方法，能够有效处理分布式数据集中的重复数据问题。
在这里插入图片描述

常用RDD算子讲解（Scala语言）
qq_64168588的博客
07-16 1136
导读通过本节, 希望大家能够理解 RDD 的一般使用步骤// 1. 创建 SparkContext// 2. 创建 RDD// 3. 处理 RDD// 4. 行动, 得到结果通过上述代码可以看到, 其实 RDD 的整体使用步骤如下。
spark RDD基础装换操作--distinct操作
weixin_43744732的博客
01-29 1831
4.distinct操作 将RDD中用户数据按照“姓名”去重。 scala> val rddData = sc.parallelize(Array(“Alice”,“Nick”,“Alice”,“Kotlin”,“Catalina”,“Catalina”),3) rddData: org.apache.spark.rdd.RDD[String] = ParallelCollectionRD...
Spark基础学习：掌握RDD算子（3）
weixin_54425212的博客
06-16 1585
RDD
spark常用RDD算子 - distinct，union，intersection，subtract，cartesian
小哇
07-27 741
distinct distinct用于去重， 我们生成的RDD可能有重复元素，使用distinct方法可以去掉重复元素, 不过此方法涉及到混洗，操作开销很大 JavaRDD<String> RDD1 = javaSparkContext.parallelize(Arrays.asList("aa", "aa", "bb", "cc", "dd")); JavaRDD<String> distinctRDD = RDD1.distinct(); List<String&g.
【SPARK】SparkRDD distinct 失败原因
Zsigner的博客
09-23 780
背景： 目前有一个pairRDD，key是String类型，value是Model类型 使用rdd.distinct() 发现个数没有减少 代码： System.out.println("brandModelRDD count:" + brandModelRDD.count()); JavaPairRDD<String, BrandModel>...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2400
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
Spark入门实战系列--6.SparkSQL（下）--Spark实战应用
yirenboy的专栏
08-31 4210
SparkSQL引入了一种新的RDD——SchemaRDD，SchemaRDD由行对象（Row）以及描述行对象中每列数据类型的Schema组成；SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外，还可以通过registerTempTable注册成临时表，然后通过SQL语
一、Spark简明笔记
Norni的博客
12-12 1192
目录1、Spark概述2、Spark体验2.1 Maven项目相关配置2.2 Spark运行环境2.2.1 Local模式2.2.2 Standalone模式2.2.3 Yarn模式2.3 部署模式的比较2.4 常用端口号3、Spark核心编程3.1 RDD3.1.1 RDD的定义3.1.2 RDD的核心属性3.1.3 基础编程3.1.3.1 RDD创建3.1.3.2 RDD并行度与分区3.1....
PySpark RDD 的使用
wodlx_的博客
03-14 742
PySpark RDD 的使用 文章目录PySpark RDD 的使用1.1 RDD的创建1.2 RDD算子1.3 常用Transformation算子map算子\textcolor{CornflowerBlue}{map算子}map算子flatMap算子\textcolor{CornflowerBlue}{flatMap算子}flatMap算子reduceByKey算子\textcolor{CornflowerBlue}{reduceByKey算子}reduceByKey算子mapValues算子\tex
Spark RDD简介以及算子使用大全
Sheenky的博客
06-28 1378
一、spark RDD（1）RDD简介RDD(Resilient Distributed Datasets)，弹性分布式数据集，是分布式内存的一个抽象概念。RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。RDD具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储
RDD转换操作算子 --- filter（过滤）、sample（取样）、distinct（去重）
懂得一千零一种,赋予你失败的方法！
11-17 5138
RDD转换操作算子 — filter、sample filter 可以过滤一部分的元素，达到数据清洗的效果 filter 中接受的函数，参数是每一个元素。如果函数返回的为true，就将该元素加入到新的RDD中，为false就会被过滤掉 @Test def filterTest: Unit ={ //创建数据集,利用filter清洗数据 --- 取奇数 val source = sc.parallelize(Seq(1,2,3,4,5,6,7,8,9,10)) //
单个RDD去重、两个RDD去重
王佩的优快云博客
11-26 1万+
RDD去重 RDD根据某一字段去重，RDD联合去重
SparkRDD之distinct和first
大雄没有叮当猫的博客
08-21 3562
distinct：对RDD中的元素进行去重。 first:返回RDD中第一个元素。 package com.cb.spark.sparkrdd; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.sp...
Spark RDD常用算子整理
Yore - Home
06-13 4373
Spark常用算子的整理
【spark】四 DataFrame.distinct()操作也应当优化为RDD操作
百物易用是苏生
04-25 4932
最好可以用RDD的就不要用DataFrame 今日就遇到执行出现 SparkContext异常停止，怀疑是DataFrame的distinct操作和groupby一样并不在本地合并为最小集，导致最后崩溃；而后换成RDD.distinct()却是可以的。 经多次测试都是以上结论 测试数据 一亿两千万条 结论：能用RDD的相关操作，就别用DataFrame，比如排序、统计count、disti...
Spark JAVA RDD API 最全合集整理，持续更新中~
热门推荐
泰格数据
06-29 2万+
SPARK的核心就是RDD，对SPARK的使用入门也就是对RDD的使用， 对于JAVA的开发者，Spark的RDD对JAVA的API我表示很不能上手， 单单看文档根本是没有办法理解每个API的作用的，所以每个SPARK的新手，最好按部就班直接学习scale, 那才是一个高手的必经之路，但是由于项目急需使用，没有闲工夫去学习一门语言，只能从JAVA入门的同学， 福利来了
RDD的算子
彷徨的博客
09-27 872
综述 转换类的算子Transformation，会生成新的RDD，lazy执行的。 所有的transformation只有遇到action才能被执行 行动类的算子action，会立即触发任务的执行，不会生成RDD 把数据写入到相应的介质，展示结果数据（收集到driver） Transformation map 一一映射的，对某一个RDD执行map，每一条数据执行操作 返回值的数据类...
Spark2.3 RDD之 distinct 源码浅谈
DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客
04-26 2235
distinct 源码：/** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x =&gt; (x, null))...
spark常用算子
最新发布
07-27
### 三、Spark常用算子介绍及使用场景 Apache Spark 提供了丰富的算子（Operator），用于实现数据的转换和处理。这些算子可以分为两类：**转换算子（Transformation）** 和 **行动算子（Action）**。转换算子是惰性执行的，只有遇到行动算子才会真正触发任务的执行。Spark 的算子数量远多于 MapReduce，具备更强的表达力和灵活性，能够满足大多数大数据处理场景的需求[^1]。 --- #### 3.1 转换算子（Transformation） 转换算子用于将一个 RDD 转换为另一个 RDD，其执行是惰性的。 ##### 3.1.1 `map` `map` 算子用于对 RDD 中的每个元素应用一个函数，并返回新的 RDD。它是一对一的映射关系。 ```scala val rdd = sc.parallelize(Seq(1, 2, 3, 4)) val mappedRdd = rdd.map(x => x * 2) ``` ##### 3.1.2 `filter` `filter` 算子用于筛选出满足条件的元素，生成新的 RDD。 ```scala val filteredRdd = rdd.filter(x => x % 2 == 0) ``` ##### 3.1.3 `flatMap` `flatMap` 与 `map` 类似，但每个输入元素可以映射为多个输出元素，最终结果是扁平化的 RDD。 ```scala val flatMappedRdd = rdd.flatMap(x => Seq(x, x * 2)) ``` ##### 3.1.4 `union` `union` 算子用于合并两个具有相同数据类型的 RDD，不进行去重操作。 ```scala val rdd1 = sc.parallelize(Seq(1, 2, 3)) val rdd2 = sc.parallelize(Seq(3, 4, 5)) val unionRdd = rdd1.union(rdd2) // 结果包含 1,2,3,3,4,5 ``` ##### 3.1.5 `distinct` `distinct` 算子用于去除 RDD 中的重复元素。 ```scala val distinctRdd = unionRdd.distinct() ``` ##### 3.1.6 `join` `join` 算子用于对两个键值对 RDD 进行连接操作，返回键相同的所有键值对组合。 ```scala val rdd1 = sc.parallelize(Seq(("a", 1), ("b", 2))) val rdd2 = sc.parallelize(Seq(("a", 3), ("b", 4))) val joinedRdd = rdd1.join(rdd2) // 结果为 ("a", (1,3)), ("b", (2,4)) ``` ##### 3.1.7 `groupByKey` `groupByKey` 算子用于将键值对 RDD 中相同键的值进行分组。 ```scala val groupedRdd = rdd1.groupByKey() ``` ##### 3.1.8 `reduceByKey` `reduceByKey` 算子用于对键值对 RDD 中相同键的值进行聚合操作。 ```scala val reducedRdd = rdd1.reduceByKey(_ + _) ``` --- #### 3.2 行动算子（Action） 行动算子用于触发 Spark 作业的执行，并返回结果给 Driver 程序或写入外部存储。 ##### 3.2.1 `collect` `collect` 算子用于将所有 RDD 的数据收集到 Driver 端，适用于小数据集。 ```scala val result = rdd.collect() ``` ##### 3.2.2 `count` `count` 算子用于统计 RDD 中元素的总数。 ```scala val total = rdd.count() ``` ##### 3.2.3 `take` `take` 算子用于从 RDD 中取出前 n 个元素。 ```scala val firstThree = rdd.take(3) ``` ##### 3.2.4 `foreach` `foreach` 算子用于对 RDD 中的每个元素执行某个操作，通常用于输出或写入外部系统。 ```scala rdd.foreach(println) ``` ##### 3.2.5 `saveAsTextFile` `saveAsTextFile` 算子用于将 RDD 的内容保存为文本文件。 ```scala rdd.saveAsTextFile("output_path") ``` --- #### 3.3 使用场景 - **数据清洗与预处理**：使用 `map`、`filter`、`flatMap` 等算子对原始数据进行格式转换和过滤。 - **数据聚合与统计**：使用 `reduceByKey`、`groupByKey` 等进行键值对的聚合操作。 - **数据合并与去重**：使用 `union` 和 `distinct` 对多个数据源进行合并和去重。 - **数据连接**：使用 `join` 对两个键值对 RDD 进行连接。 - **结果输出**：使用 `collect`、`foreach`、`saveAsTextFile` 将结果输出到控制台或文件系统。 --- #### 3.4 示例代码 ```python list1 = [1, 2, 3, 4, 5, 6, 7, 8] list2 = [5, 6, 7, 8, 9, 10] rdd1 = sc.parallelize(list1, 2) rdd2 = sc.parallelize(list2, 2) rdd3 = rdd1.union(rdd2) rdd4 = rdd3.distinct() rdd4.foreach(print) ``` 该代码展示了 `union` 和 `distinct` 的组合使用，先合并两个列表，再去除重复元素[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值