spark transform系列__distinct

最新推荐文章于 2023-09-21 23:45:47 发布

隔壁老杨hongs

最新推荐文章于 2023-09-21 23:45:47 发布

阅读量7.5k

点赞数 2

CC 4.0 BY-SA版权

文章标签：源代码 spark

本文链接：https://blog.youkuaiyun.com/u014393917/article/details/50602431

spark1.6源码专栏收录该内容

26 篇文章

订阅专栏

本文深入探讨了Spark中Distinct操作的实现原理，包括如何通过映射和减少操作去除重复元素，以及该过程如何涉及分区和shuffle。了解如何在RDD上高效地执行去重操作，对提高数据处理效率至关重要。

Distinct的操作其实是把原RDD进行MAP操作,根据原来的KEY-VALUE生成为KEY,value使用null来替换,并对新生成的RDD执行reduceByKey的操作,这个reduceByKey的操作中,传入的x,y都是null,这个地方执行reduceByKey的函数(下面的红色部分,直接返回传入的第一个值),

执行完成reducebykey的操作后,这个时候新的RDD就只相同的key就只包含一个结果值(其实就是一个null),最后执行下map操作,这个操作返回的是RDD的第一个值,第一个值就是原始rdd的key-value.执行reduceByKey操作的默认的分区算子是Hash.这个功能在执行时也需要做shuffle的操作.

也就是说,Distinct的操作是根据key与value一起计算不重复的结果.只有两个记录中key与value都不重复才算是不重复的数据.

/**
* Return a new RDD containing the distinct elements in this RDD.
*/
def distinct(): RDD[T] = withScope {
distinct(partitions.length)
}

/**
* Return a new RDD containing the distinct elements in this RDD.
*/
def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)
}