Spark 算子之distinct使用

最新推荐文章于 2025-03-13 14:31:27 发布
最新推荐文章于 2025-03-13 14:31:27 发布
阅读量2.8k 收藏 1
点赞数 8
分类专栏： spark 入门到精通 文章标签： Spark中distinct Spark之distinct
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/124356121
版权
本文介绍了Spark中distinct函数的使用，通过函数签名和案例分析，展示了如何对数据集进行去重操作，帮助理解其在数据处理中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

相信使用过mysql的同学对sql语句中distinct关键字并不陌生，使用distinct关键字可以对查询的数据进行去重操作，在Spark 中，可以做类似的理解；

函数签名

def distinct()(implicit ord: Ordering[T] = null): RDD[T]
def distinct( numPartitions: Int )(implicit ord: Ordering[T] = null): RDD[T]

函数说明

将数据集中重复的数据去重

案例：对集合中的一组数字去重


                

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
大数据Spark面试，distinct去重原理，是如何实现的

				
			

			

				

					hechaoyong12345的博客
				

				

					06-07
					
					2195
					
				

			

		

		

			
				
最近，有位朋友问我，distinct去重原理是怎么实现的？

“在面试时，面试官问他了解distinct算子吗？”

“了解啊，Spark的rdd，一种transFormation去重的算子，主要用来去重的”。

“哟，看来你经常使用distinct算子，对distinct算子很熟悉啊”。

“好说，好说”。

“那你能说说distinct是如何实现去重的吗？”

我朋友支支吾吾半天：“就是这样、那样去重的啊”。

“这样、那样是怎么去重的呢”

“具体有点忘记了(其实是根本就不知道)”。

那么disti

			
		

	



                

            
              



	

		

			

				
					
Spark算子--Scala版本(头歌)

				
			

			

				

					m0_53510670的博客
				

				

					06-14
					
					3913
					
				

			

		

		

			
				
第1关转换算子之map和distinct算子





代码如下：



importorg.apache.spark.rdd.RDD

importorg.apache.spark.{SparkConf,SparkContext}



objectEduCoder1{

  defmain(args:Array[String]):Unit={

  valconf=newSparkConf().setAppName("educoder1").setMaster...

			
		

	



              


  
              

                


	

		

			

				
					
Spark distinct

				
			

			

				

					qq_43192537的博客
				

				

					11-28
					
					567
					
				

			

		

		

			
				
Spark distinct

			
		

	





	

		

			

				
					
SparkSQL面试到这些内容，你能一次说清楚吗？（上）

				
			

			

				

					涤生大数据
				

				

					03-13
					
					712
					
				

			

		

		

			
				
今天带各位梳理一下很多SparkSQL在使用中模棱两可得的事情，今天一文带大家全部理清楚。涤生出品，内容很干，不管是在面试还是在实际的工作中，能够理清以下问题，你就是最靓的仔。

			
		

	



		

			
		



	

		

			

				
					
Spark入门（十）之Distinct去重

				
			

			

				

					茅坤宝骏氹的博客
				

				

					07-08
					
					1369
					
				

			

		

		

			
				
一、Distinct

计算文本里面的每个单词去重，输出结果。



二、maven设置


<?xml version="1.0" encoding="UTF-8"?>
 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4...

			
		

	





	

		

			

				
					
spark--transform算子--distinct

				
			

			

				

					书灯的博客
				

				

					07-18
					
					495
					
				

			

		

		

			
				
distinct方法用于对本身的数据集进行去重处理

			
		

	





	

		

			

				
					
spark中distinct函数去重原理

				
			

			

				

					weixin_43866709的博客
				

				

					03-21
					
					1070
					
				

			

		

		

			
				
spark中的distinct函数去重方式

			
		

	





	

		

			

				
					
Java Spark算子：distinct

				
			

			

				

					01-07
				

			

		

		

			
				
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD;... * distinct（）算子  * 去除RDD的重复元素。  *  */ public class DistinctDemo {  public static void main(String[] args) {  S

			
		

	





	

		

			

				
					
25个经典Spark算子的JAVA实现

				
			

			

				

					08-16
				

			

		

		

			
				
根据给定文件的信息，本文将详细介绍25个经典Spark算子的Java实现，并结合详细的注释及JUnit测试结果，帮助读者更好地理解Spark算子的工作原理及其应用方式。  ### Spark算子简介  在Apache Spark框架中，算子是用于...

			
		

	





	

		

			

				
					
头歌-Spark算子 - JAVA版本

				
			

			

				

					bzzb52的博客
				

				

					06-21
					
					981
					
				

			

		

		

			
				
【代码】头歌-Spark算子 - JAVA版本。

			
		

	





	

		

			

				
					
Spark Sql之count(distinct)分析&&学习&&验证

				
			

			

				

					南风知我意
				

				

					08-27
					
					5375
					
				

			

		

		

			
				
先说结论：spark sql和hive不一样，spark对count(distinct)做了group by优化

>在hive中count().
>hive往往只用一个 reduce 来处理全局聚合函数，最后导致数据倾斜；在不考虑其它因素的情况下，我们的优化方案是先 group by 再 count ...

			
		

	





	

		

			

				
					
【Spark】Spark 优化操作之自定义 distinct

				
			

			

				

					云祁QI
				

				

					02-04
					
					2593
					
				

			

		

		

			
				
因为默认的distinct算子操作效率太低，自己改写一下。
很简单
def mydistinct(iter: Iterator[(String, Int)]): Iterator[String] = {
  iter.foldLeft(Set[String]())((CurS, item) => CurS + item._1).toIterator
}

// mydistinct 的使用过...

			
		

	





	

		

			

				
					
Spark rdd之distinct

				
			

			

				

					南风知我意
				

				

					09-22
					
					557
					
				

			

		

		

			
				
类似于wordcount的写法：map算子把元素转为一个带有null的元组；使用reducebykey对具有相同key的元素进行统计；之后再使用map算子，取得元组中的单词元素，实现去重的效果。

			
		

	





	

		

			

				
					
spark中distinct是如何实现的？

				
			

			

				

					@coredao
				

				

					03-09
					
					1205
					
				

			

		

		

			
				
A1 总述：
去重
A2 思路：
map -> resuceByKey -> map
A3 源码：
3.1 有参：
 /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
    map(x => (x, nu

			
		

	





	

		

			

				
					
Spark RDD distinct 算子

				
			

			

				

					BITDDD小栈
				

				

					05-29
					
					2702
					
				

			

		

		

			
				
一.引言

使用spark很久第一次用到 distinct 算子，趁热打铁熟悉一下 distinct 的操作。



二.源码




			
		

	





	

		

			

				
					
Spark SQL distinct分析优化总结

				
			

			

				

					Code_zhu的博客
				

				

					03-29
					
					7662
					
				

			

		

		

			
				
Spark count distinct原理



由于distinct过程会导致数据膨胀，导致shuffle、reduce双端数据倾斜，因此distinct算子操作特别慢

distinct慢的主要原因：

数据膨胀原理：


select 
    count(distinct id),
    count(distinct name) 
from table_a


	distinct算子在处理过程中是将distinct后的字段和group by字段共同作为key传入reduce，导致shuffle.

			
		

	





	

		

			

				
					
Spark:distinct算子

				
			

			

				

					weixin_48109576的博客
				

				

					08-09
					
					843
					
				

			

		

		

			
				
distinct是Tranformation算子,具有shuffle

功能:去重

源码

分区取设定分区或者按照核数




将rdd用map变为对偶元组,然后用reduceBykey,

我的理解为:reduceBykey是将key建返回,value取出第一个就不叠加了,局部聚合和全局聚合都用这一个函数

在用map取出key

代码实现


object DistinctDemo {


  def main(args: Array[String]): Unit = {
    val con...

			
		

	





	

		

			

				
					
spark之distinct去重原理

				
			

			

				

					我的祖传代码
				

				

					04-08
					
					2466
					
				

			

		

		

			
				
distinct算子原理：



贴上spark源码：


  /**
   * Return a new RDD containing the distinct elements in this RDD.
   */
  def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...

			
		

	





	

		

			

				
					
5、Spark_RDD算子——Union

				
			

			

				

					weixin_39025328的博客
				

				

					10-10
					
					384
					
				

			

		

		

			
				
一、SparkUtils工具类
import org.apache.spark.{SparkConf, SparkContext}

object SparkUtils {
  /**
   *  默认的master url路径
   */
  val DEFAULT_MASTER = "local[*]"
  /**
   * 默认master为local[*]的获取sparkContext
   */
  def getSparkContext(appName:String):SparkContext 

			
		

	





	

		

			

				
					
Spark算子--Scala版本第1关：转换算子之map和distinct算子

					
最新发布

				
			

			

				

					03-15
				

			

		

		

			
				
### Spark Scala `map` 和 `distinct` 转换算子使用教程

#### 1. `map` 转换算子
`map` 是一种常见的转换操作符，用于将 RDD 中的每个元素通过指定的函数进行映射并返回一个新的 RDD。其核心作用是对数据集中的每一项应用给定的函数。

以下是 `map` 的基本语法及其示例：

```scala
val rdd = sc.parallelize(Seq(1, 2, 3, 4))
// 使用 map 将每个元素乘以 2
val mappedRDD = rdd.map(x => x * 2)
mappedRDD.collect().foreach(println) // 输出: 2, 4, 6, 8
```

上述代码展示了如何利用 `map` 方法对集合内的每个元素执行特定的操作[^1]。

#### 2. `distinct` 转换算子
`distinct` 算子的作用是从原始 RDD 中移除重复的数据项，并生成新的去重后的 RDD。此方法适用于需要过滤掉冗余记录的情况。

下面是一个简单的例子来说明它的功能：

```scala
val rdd = sc.parallelize(Seq(1, 2, 2, 3, 4, 4, 5))
// 应用 distinct 来去除重复值
val distinctRDD = rdd.distinct()
distinctRDD.collect().foreach(println) // 输出: 1, 2, 3, 4, 5
```

这段代码片段清楚地表明了当存在多个相同数值时，`distinct` 如何只保留唯一实例[^2]。

#### 组合使用 `map` 和 `distinct`
在实际应用场景下，通常会结合多种转换算子一起工作。比如先对数据做某种变换再从中提取唯一的条目：

```scala
val data = Seq("apple", "banana", "apple", "orange")
val rdd = sc.parallelize(data)

// 先把字符串转成大写形式然后再取不同种类水果的名字
val resultRDD = rdd.map(_.toUpperCase).distinct()

resultRDD.collect().foreach(println) // 输出 APPLE BANANA ORANGE (顺序可能变化)
```

这里不仅演示了怎样改变字母大小写的技巧还体现了如何去获取不重复的结果列表[^2]。

### 总结
- **Map**: 主要是用来修改或者转化输入序列里的每一个成员。
- **Distinct**: 它的功能是用来消除那些已经存在的副本从而得到独一无二的新集合。

以上就是关于 Spark Scala 版本下的两个重要转换算子——`map` 和 `distinct` 的详细介绍以及它们的实际运用案例分析。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
逆风飞翔的小叔

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值