spark concat_ws,collect_set

最新推荐文章于 2024-03-14 17:43:34 发布
原创 最新推荐文章于 2024-03-14 17:43:34 发布 · 7.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hive

本文介绍Hive中concat_ws与collect_set函数的应用实例。concat_ws用于合并多行记录为一行，collect_set则用于收集去重后的集合。通过具体SQL语句展示如何使用这两个函数处理数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

concat_ws


hive > select product_id, concat_ws('_',collect_set(promotion_id)) as promotion_ids from product_promotion group by product_id;
OK
5112 960024_960025_960026_960027_960028
5113 960043_960044_960045_960046
Time taken: 3.116 seconds
concat_ws实现将多行记录合并成一行
collect_set
from pyspark.sql import functions as F
F.collect_set("di_ware_no")
这里的collect_set的作用是对di_ware_no去重，值得注意的是，必须保证di_ware_no的类型是string类型


                

        

    

    
  



    



                



	

		

			

				
					
Spark 对每个groupby的每个group的string进行concat

				
			

			

				

					Love-Coding
				

				

					11-24
					
					1181
					
				

			

		

		

			
				
concat_ws and collect_set

			
		

	



                

            
              



	

		

			

				
					
Spark SQL 实现 group_concat

				
			

			

				

					Islotus
				

				

					07-11
					
					3745
					
				

			

		

		

			
				
Spark SQL 实现 group_concat环境：Spark 2.0.1 以下貌似需要至少Spark 1.6支持，未实测（网友yanshichuan1反馈spark 1.5.1同样支持，感谢）表结构及内容：+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
| Justin| ...

			
		

	



              


  
              

                


	

		

			

				
					
Hive中的CONCAT、CONCAT_WS与COLLECT_SET函数

					
最新发布

				
			

			

				

					weixin_44852067的博客
				

				

					03-14
					
					4258
					
				

			

		

		

			
				
concat用于连接字符串。concat_ws用于按照指定的分隔符连接字符串。与group by和concat_ws一起使用可以实现"列转行。

			
		

	





	

		

			

				
					
spark sql 中concat_ws和collect_set的使用

				
			

			

				

					麻辣灬小笼包的博客
				

				

					04-09
					
					7124
					
				

			

		

		

			
				
concat_ws和collect_set一般搭配使用
官方释义
collect_set
collect_set(expr) - Collects and returns a set of unique elements.
concat_ws
concat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep.
1.concat_ws: 用指定的字符连接字符串
连接字符串：
conca

			
		

	



		

			
		



	

		

			

				
					
SQL---行转列，列转行（concat,concat_ws,collect_set）

				
			

			

				

					xiaobai666666C的博客
				

				

					06-13
					
					1297
					
				

			

		

		

			
				
concat_ws则不然，只要有一个字符串不为null，就不会返回null,concat_ws需要指定分隔符。concat_ws也是将两个字符串连接成一个字符串,concat_ws需要指定分隔符。concat所要连接的字符串中出现了null，则整体连接结果为null。collect_set是将某列元素转化为数组返回。concat函数用于将两个字符串连接成一个字符串。注意:collect_set无序且会去重。

			
		

	





	

		

			

				
					
hive中的concat，concat_ws，collect_set用法

					
热门推荐

				
			

			

				

					waiwai3的博客
				

				

					01-16
					
					6万+
					
				

			

		

		

			
				
需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行
原数据：





user
order_type
order_number


user1
delivered
10


user2
returned
1


user1
returned
3


user2
delivered
20



目标：



			
		

	





	

		

			

				
					
spark sql 之 collect_set collect_list 后WrappedArray 取值

				
			

			

				

					鸟语清晨
				

				

					05-26
					
					3207
					
				

			

		

		

			
				
示例：demo数据




userId
place




1001
北京


1001
上海


spark建立的虚拟表 userPlaceView。根据用户ID进行分组，用collect_set(place)获取place信息。
spark sql 函数查询 地址
Dataset<Row> resultDataSet = SqlContext.sql("select userId, collect_set(place) as place from userPlaceView group b

			
		

	





	

		

			

				
					
SQL :字符串合并拆分与行列转换：concat_ws()、LATERAL view explode、collect_set()|collect_list()函数

				
			

			

				

					weixin_47198715的博客
				

				

					05-22
					
					1301
					
				

			

		

		

			
				
concat_ws()、LATERAL view explode、collect_set()|collect_list()函数讲解

			
		

	





	

		

			

				
					
【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用

				
			

			

				

					loongshawn的博客
				

				

					07-14
					
					1万+
					
				

			

		

		

			
				
需求来源
对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。
问题描述
select
  t.id,
  concat_ws(',', collect_set(t.class))
from
  temp t
group by
  t.id

原始temp数据




id
class




loongshaw
1


loongshaw
2


loongshaw
3


loongshaw
4


期望值




id
class




loongshaw
1,2,3,4



.

			
		

	





	

		

			

				
					
spark group_concat()

				
			

			

				

					09-29
				

			

		

		

			
				
group_concat()是一种自定义聚合函数，用于将分组后的多个值以指定的分隔符连接起来。在Spark中，可以使用concat_ws()函数实现类似的功能。...如果需要去重，则使用concat_ws('|',collect_set(name))。

			
		

	





	

		

			

				
					
SparkSQL中的collect_set()函数对于输入类型的限制

				
			

			

				

					qq_16759443的博客
				

				

					07-17
					
					4940
					
				

			

		

		

			
				
在HQL中，collect_set() 支持各种类型的字段的聚合；

-- HQL 中可以执行如下操作
SELECT	ssoid,
	collect_set(nickname)[0] AS nickname,
	collect_set(nat_code)[0] AS nat_code,
	collect_set(reg_brand)[0] AS reg_brand,
	collect_set(r...

			
		

	





	

		

			

				
					
hive 列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

				
			

			

				

					weixin_42326851的博客
				

				

					11-24
					
					4692
					
				

			

		

		

			
				
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

			
		

	





	

		

			

				
					
使用SparkSQL时使用SQL语句中的COLLECT_SET和后期处理需要注意问题

				
			

			

				

					Ran_记忆犹新的博客
				

				

					06-28
					
					5549
					
				

			

		

		

			
				
在使用SparkSQL的SQL语句进行聚合后拼接时，需要使用CONCAT_WS进行多字段拼接，再使用COLLECT_SET进行收集，返回一个Array数组的集合。

如：


 val imo_type_sql =
      """
        |SELECT IMO, MMSI, COLLECT_SET(CONCAT_WS("~",ShipType, count)) as type_cou...

			
		

	





	

		

			

				
					
mysql collect_set_spark sql  concat_ws() collect_set() collect_list() 字段值拼接

				
			

			

				

					weixin_28871731的博客
				

				

					01-18
					
					2687
					
				

			

		

		

			
				
spark sql collect_set、collect_list 、concat_ws都用来做字段拼接，其实和mysql中的字段拼接函数差不多，请参考Mysql中concat()、concat_ws()和 group_concat() 字段拼接的用法1.concat_ws()函数concat_ws()-CONCAT With Separator ，用分隔符来拼接字段spark中concat_w...

			
		

	





	

		

			

				
					
1. sparksql:函数使用:concat_ws,collect_set,RANK， DENSE_RANK， ROW_NUMBER

				
			

			

				

					zhuchunyan_aijia的博客
				

				

					02-03
					
					1060
					
				

			

		

		

			
				
concat_ws: 用指定的字符连接字符串

例如：

连接字符串：

concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”。

数组元素连接：

concat_ws("_", [a,b,c])，输出结果将会是："a_b_c"。



collect_set: 把聚合的数据组合成一个数组，一般搭配group by 使用。

例如有下表T_...

			
		

	





	

		

			

				
					
Spark2 Dataset之collect_set与collect_list

				
			

			

				

					weixin_34336292的博客
				

				

					11-25
					
					420
					
				

			

		

		

			
				
collect_set去除重复元素；collect_list不去除重复元素select gender, concat_ws(',', collect_set(children)), concat_ws(',', collect_list(children)) from Affairsgroup by gender


// 创建视图 
data.createO...

			
		

	





	

		

			

				
					
SparkSQL_经典案例分析_数据表行列变化转换分析_collect_list()&collect_set()&str_to_map函数

				
			

			

				

					yj2434的博客
				

				

					11-05
					
					1225
					
				

			

		

		

			
				
import org.apache.spark.sql.SparkSession

/**
 * 数据的行列变化：
 * 多行数据到一行数据中
 * 例如：
 * +--------+----+-----+           +--------+---------+-----+
 * |username|item|price|           |username|item     |price|
 * +--------+----+-----+           +--------+--------

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值