Spark 算子之distinct使用

最新推荐文章于 2024-02-29 17:06:58 发布
原创 最新推荐文章于 2024-02-29 17:06:58 发布 · 2.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark中distinct #Spark之distinct

本文介绍了Spark中distinct函数的使用，通过函数签名和案例分析，展示了如何对数据集进行去重操作，帮助理解其在数据处理中的作用。

前言

相信使用过mysql的同学对sql语句中distinct关键字并不陌生，使用distinct关键字可以对查询的数据进行去重操作，在Spark 中，可以做类似的理解；

函数签名

def distinct()(implicit ord: Ordering[T] = null): RDD[T]
def distinct( numPartitions: Int )(implicit ord: Ordering[T] = null): RDD[T]

函数说明

将数据集中重复的数据去重

案例：对集合中的一组数字去重

import org.apache.spark.{S
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark distinct去重原理 (distinct会导致shuffle)
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-16 3035
distinct算子原理：含有reduceByKey则会有shuffle 贴上spark源码： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, null)).redu.
Spark算子--Scala版本
Junds0的博客
04-15 970
第1关：转换算子之map和distinct算子 本关任务：输出每个元素及其长度并去重。 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object EduCoder1 { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("educoder").setMaster("loc
大数据Spark面试，distinct去重原理，是如何实现的
hechaoyong12345的博客
06-07 2235
最近，有位朋友问我，distinct去重原理是怎么实现的？ “在面试时，面试官问他了解distinct算子吗？” “了解啊，Spark的rdd，一种transFormation去重的算子，主要用来去重的”。 “哟，看来你经常使用distinct算子，对distinct算子很熟悉啊”。 “好说，好说”。 “那你能说说distinct是如何实现去重的吗？” 我朋友支支吾吾半天：“就是这样、那样去重的啊”。 “这样、那样是怎么去重的呢” “具体有点忘记了(其实是根本就不知道)”。 那么disti
大数据分布式计算工具Spark数据计算实战讲解(filter方法，distinct方法，sortby方法)
杜小帅的博客
02-29 551
功能：对rdd数据进行排序，基于你指定的排序依据。功能：对rdd数据进行去重，返回新rdd。•全部城市，有哪些商品类别在售卖。•各个城市销售额排名，从大到小。功能：过滤想要的数据进行保留。•北京市有哪些商品类别在售卖。
Spark distinct
qq_43192537的博客
11-28 595
Spark distinct
Spark入门（十）之Distinct去重
茅坤宝骏氹的博客
07-08 1415
一、Distinct 计算文本里面的每个单词去重，输出结果。 二、maven设置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...
Java Spark算子：distinct
01-07
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;... * distinct（）算子 * 去除RDD的重复元素。 * */ public class DistinctDemo { public static void main(String[] args) { S
25个经典Spark算子的JAVA实现
08-16
根据给定文件的信息，本文将详细介绍25个经典Spark算子的Java实现，并结合详细的注释及JUnit测试结果，帮助读者更好地理解Spark算子的工作原理及其应用方式。 ### Spark算子简介 在Apache Spark框架中，算子是用于...
Educoder中Spark算子--Scala版本
weixin_46026136的博客
05-13 1050
第1关：转换算子之map和distinct算子 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object EduCoder1 { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("educoder1").setMaster("local") val sc
spark--transform算子--distinct
书灯的博客
07-18 512
distinct方法用于对本身的数据集进行去重处理
spark中distinct函数去重原理
weixin_43866709的博客
03-21 1160
spark中的distinct函数去重方式
Spark Sql之count(distinct)分析&&学习&&验证
南风知我意
08-27 5657
先说结论：spark sql和hive不一样，spark对count(distinct)做了group by优化 >在hive中count(). >hive往往只用一个 reduce 来处理全局聚合函数，最后导致数据倾斜；在不考虑其它因素的情况下，我们的优化方案是先 group by 再 count ...
【Spark】Spark 优化操作之自定义 distinct
云祁QI
02-04 2630
因为默认的distinct算子操作效率太低，自己改写一下。 很简单 def mydistinct(iter: Iterator[(String, Int)]): Iterator[String] = { iter.foldLeft(Set[String]())((CurS, item) => CurS + item._1).toIterator } // mydistinct 的使用过...
Spark rdd之distinct
南风知我意
09-22 614
类似于wordcount的写法：map算子把元素转为一个带有null的元组；使用reducebykey对具有相同key的元素进行统计；之后再使用map算子，取得元组中的单词元素，实现去重的效果。
spark中distinct是如何实现的？
@coredao
03-09 1293
A1 总述： 去重 A2 思路： map -> resuceByKey -> map A3 源码： 3.1 有参： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, nu
Spark RDD distinct 算子
BITDDD小栈
05-29 2789
一.引言 使用spark很久第一次用到 distinct 算子，趁热打铁熟悉一下 distinct 的操作。 二.源码
Spark SQL distinct分析优化总结
Code_zhu的博客
03-29 7874
Spark count distinct原理 由于distinct过程会导致数据膨胀，导致shuffle、reduce双端数据倾斜，因此distinct算子操作特别慢 distinct慢的主要原因： 数据膨胀原理： select count(distinct id), count(distinct name) from table_a distinct算子在处理过程中是将distinct后的字段和group by字段共同作为key传入reduce，导致shuffle.
Spark:distinct算子
weixin_48109576的博客
08-09 878
distinct是Tranformation算子,具有shuffle 功能:去重 源码 分区取设定分区或者按照核数 将rdd用map变为对偶元组,然后用reduceBykey, 我的理解为:reduceBykey是将key建返回,value取出第一个就不叠加了,局部聚合和全局聚合都用这一个函数 在用map取出key 代码实现 object DistinctDemo { def main(args: Array[String]): Unit = { val con...
spark之distinct去重原理
我的祖传代码
04-08 2516
distinct算子原理： 贴上spark源码： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...
Spark算子--Scala版本第1关：转换算子之map和distinct算子
最新发布
03-15
### Spark Scala `map` 和 `distinct` 转换算子使用教程 #### 1. `map` 转换算子 `map` 是一种常见的转换操作符，用于将 RDD 中的每个元素通过指定的函数进行映射并返回一个新的 RDD。其核心作用是对数据集中的每一项应用给定的函数。 以下是 `map` 的基本语法及其示例： ```scala val rdd = sc.parallelize(Seq(1, 2, 3, 4)) // 使用 map 将每个元素乘以 2 val mappedRDD = rdd.map(x => x * 2) mappedRDD.collect().foreach(println) // 输出: 2, 4, 6, 8 ``` 上述代码展示了如何利用 `map` 方法对集合内的每个元素执行特定的操作[^1]。 #### 2. `distinct` 转换算子 `distinct` 算子的作用是从原始 RDD 中移除重复的数据项，并生成新的去重后的 RDD。此方法适用于需要过滤掉冗余记录的情况。 下面是一个简单的例子来说明它的功能： ```scala val rdd = sc.parallelize(Seq(1, 2, 2, 3, 4, 4, 5)) // 应用 distinct 来去除重复值 val distinctRDD = rdd.distinct() distinctRDD.collect().foreach(println) // 输出: 1, 2, 3, 4, 5 ``` 这段代码片段清楚地表明了当存在多个相同数值时，`distinct` 如何只保留唯一实例[^2]。 #### 组合使用 `map` 和 `distinct` 在实际应用场景下，通常会结合多种转换算子一起工作。比如先对数据做某种变换再从中提取唯一的条目： ```scala val data = Seq("apple", "banana", "apple", "orange") val rdd = sc.parallelize(data) // 先把字符串转成大写形式然后再取不同种类水果的名字 val resultRDD = rdd.map(_.toUpperCase).distinct() resultRDD.collect().foreach(println) // 输出 APPLE BANANA ORANGE (顺序可能变化) ``` 这里不仅演示了怎样改变字母大小写的技巧还体现了如何去获取不重复的结果列表[^2]。 ### 总结 - **Map**: 主要是用来修改或者转化输入序列里的每一个成员。 - **Distinct**: 它的功能是用来消除那些已经存在的副本从而得到独一无二的新集合。 以上就是关于 Spark Scala 版本下的两个重要转换算子——`map` 和 `distinct` 的详细介绍以及它们的实际运用案例分析。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值