spark dataFrame自定义函数 聚合array

原创 已于 2022-10-26 09:42:49 修改 · 859 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scala #spark #大数据

于 2022-10-25 17:59:05 首次发布
本文介绍了在Spark 2.4环境下，使用Scala 2.11如何为DataFrame自定义聚合函数，以处理Array类型的数据。通过环境配置、数据准备、需求分析、函数定义、注册及测试步骤，展示了如何实现这一功能并得出结果。

spark dataFrame自定义聚合函数

spark2.4

scala2.11

准备环境

    val spark = SparkSession.builder()
      .master("local[*]")
      .appName(this.getClass.getSimpleName)
      .getOrCreate()
    val sc = spark.sparkContext

准备数据

    //造数据
    val dataList = List(("A", List("v1", "v2")),
      ("A", List("v1", "v3")),
      ("B", List("v1", "v2")),
      ("B", List("v3", "v4")),
      ("B", List("v1", "v3")))
      
    import spark.implicits._
    val initDF = sc.parallelize(dataList).toDF("key","v_list")
+---+--------+
|key|v_list  |
+---+--------+
|A  |[v1, v2]|
|A  |[v1, v3]|
|B  |[v1, v2]|
|B  |[v3, v4]|
|B  |[v1, v3]|
+---+--------+

需求


                

        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Spark 自定义UDF函数

				
			

			

				

					congge_study的博客
				

				

					05-02
					
					1555
					
				

			

		

		

			
				
Spark 自定义UDF函数

			
		

	



                

            
              



	

		

			

				
					
【Spark SQL】自定义函数

				
			

			

				

					weixin_43589563的博客
				

				

					10-12
					
					792
					
				

			

		

		

			
				
用户可以通过spark.udf功能添加自定义函数，实现自定义功能
1.UDF
步骤：

创建DataFrame

scala> val df = spark.read.json("data/user.json")
df: org.apache.spark.sql.DataFrame = [age: bigint， username: string]


注册UDF

scala> spark.udf.register("addName",(x:String)=> "Name:"+x)
re

			
		

	



              


  
              

                


	

		

			

				
					
Spark udf合并两个Array / List / Seq为一个Array / List / Seq,将所有元素放到一个Array / List / Seq中

				
			

			

				

					qq_39285950的博客
				

				

					01-16
					
					724
					
				

			

		

		

			
				
但是Spark中没有实现类似功能的算子, 于是自己写了一个UDF去实现, 话不多说, 贴代码供大家参考.即: 合并两个Array[String]

			
		

	





	

		

			

				
					
Spark数据处理实战之聚合

				
			

			

				

					进击的数据小白
				

				

					04-27
					
					1443
					
				

			

		

		

			
				
spark dataset/dataframe经常会用到聚合函数进行指标的聚合计算，本文详细讲解了聚合函数，聚合算子，方便使用者清晰的认识如何进行聚合操作。

聚合函数
org.apache.spark.sql.functions._    

所有的聚合函数都可以通过两种方式调用，以Column为参数或者以columnName为参数，例如avg(Column e)和avg(String col...

			
		

	



		

			
		



	

		

			

				
					
spark——详解rdd常用的转化和行动操作

				
			

			

				

					TechFlow的博客
				

				

					04-19
					
					1816
					
				

			

		

		

			
				
本文始发于个人公众号：TechFlow，原创不易，求个关注

今天是spark第三篇文章，我们继续来看RDD的一些操作。
我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算结果，而是会生成一个新的RDD节点，记录下这个操作。只有在行动操作执行的时候，spark才会从头开始计...

			
		

	





	

		

			

				
					
Spark DataFrame  用户自定义（聚合）函数

				
			

			

				

					k_wzzc的博客
				

				

					01-21
					
					5812
					
				

			

		

		

			
				
Spark Sql 自定义函数
在Spark中，自定义函数可以分为两种：

UDF(User-Defined-Function)，即最基本的自定义函数。类似 lit、sqrt之类的函数，数对每一条数据处理。输入和输出是一对一的关系。
UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数。类似sum、count之类的函数，是对数据按一定规则分组之后的...

			
		

	





	

		

			

				
					
Scala_Spark使用自定义函数，操作DataFrame

				
			

			

				

					weixin_46408961的博客
				

				

					10-31
					
					771
					
				

			

		

		

			
				
1.代码如下：


package spark_dataframe


import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions
import org.apache.spark.sql
object functionsdf extends App{
    override def main(args: Array[String]): U

			
		

	





	

		

			

				
					
Spark自定义函数 UDF UDAF

				
			

			

				

					q2842360795的博客
				

				

					10-27
					
					684
					
				

			

		

		

			
				
Spark 自定义函数UDF UDAF
步骤：自定义函数，再注册
案例演示
UDF
package com.qf.sql.day03

import org.apache.spark.sql.{DataFrame, SparkSession}

object _05TestUDF1 {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder().master("local[*]").appNam

			
		

	





	

		

			

				
					
Spark SQL DataFrame 算子

					
最新发布

				
			

			

				

					2401_84052244的博客
				

				

					07-31
					
					3500
					
				

			

		

		

			
				
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。

			
		

	





	

		

			

				
					
Spark DataFrame自定义函数用于指定列 column   UDF  scala版

				
			

			

				

					lzyilzy的博客
				

				

					07-24
					
					2434
					
				

			

		

		

			
				
查了好多东西，Spark DataFrame对列进行操作，agg不能满足对列的所有元素进行广播。不像Python中的DataFrame操作那样方便。后来发现我们可以使用UDF来注册自定义的函数，从而像使用min、max函数一样方便操作。

   spark版本：2.2.0

    大致过程分为：自定义函数，只能有一个参数和一个返回值

     ...

			
		

	





	

		

			

				
					
Spark DataFrame 函数

				
			

			

				

					Code_LT的博客
				

				

					02-19
					
					1012
					
				

			

		

		

			
				
DataFrame 一旦被创建，则可被DataFrame, column和 function中的函数操作，这些函数叫做 domain-specific-language (DSL) 函数。

 

DataFrame函数和RDD一样，也分为action和transformation，且后者是惰性的。

 

Spark 1.5.1函数：

dataframe：

http://spark.apac...

			
		

	





	

		

			

				
					
dataframe转化为array_疯狂Spark之DataFrame创建方式详解二(十)

				
			

			

				

					weixin_39691968的博客
				

				

					11-24
					
					792
					
				

			

		

		

			
				
创建DataFrame的几种方式1、读取parquet文件创建DataFrame注意：可以将DataFrame存储成parquet文件。保存成parquet文件的方式有两种df.write().mode(SaveMode.Overwrite).format("parquet").save("./sparksql/parquet");
df.write().mode(SaveMode.Overwri...

			
		

	





	

		

			

				
					
Spark dataframe某一列转化为Array

				
			

			

				

					Buevara的博客
				

				

					04-19
					
					8499
					
				

			

		

		

			
				
首先，必须保证列没有空值，如果有，则需要drop
$colName 为 列名

data = data.na.drop(s"$colName")

输出格式为ArrayAny

data0.select(s"$cname").collect().map(_(0))

变为String或Double需要定义函数
  // 类型转换为String
  def ToString(s:Any):Strin...

			
		

	





	

		

			

				
					
Sparksql Dataframe聚合操作

				
			

			

				

					App20134833944的博客
				

				

					01-19
					
					781
					
				

			

		

		

			
				
import numpy as np
import sys
#sys.path.append("/opt/cloudera/parcels/CDH/lib/spark/python/lib/py4j-0.10.7-src.zip")
#sys.path.append("/opt/cloudera/parcels/CDH/lib/spark/python/lib/pyspark.zip")
from sklearn.metrics import mean_squared_error,r2_score
from

			
		

	





	

		

			

				
					
Spark（六）：DataFrame

				
			

			

				

					幻神舞的专栏
				

				

					12-15
					
					4214
					
				

			

		

		

			
				
文章目录说明分享记录特性接口一般处理流程优点缺点代码实例spark与RDD对比总结
说明

由于某些原因，上周五未发布博客未，本文补上。
DataFrame是一种spark 1.3版本提供Spark SQL接口下的分布式数据集，继承自DataSet数据集，该概念最早由R语言和Pandas库（Python）提出。
DataFrame更像传统数据库里的表，除了数据外还包含更多的辅助信息，如列名、列值和列的属性，同时支持一些复杂的数据格式。从API应用的角度，DataFrame提供的API层次更高，比RDD编程方

			
		

	





	

		

			

				
					
Spark-SQL自定义聚合函数

				
			

			

				

					JinVijay的博客
				

				

					01-16
					
					1504
					
				

			

		

		

			
				
核心要义：

聚合是分步骤进行： 先局部聚合，再全局聚合

局部聚合（reduce）的结果是保存在一个局部buffer中的

全局聚合(merge)就是将多个局部buffer再聚合成一个buffer

最后通过(finish)将全局聚合的buffer中的数据做一个运算得出你要的结果





自定义avg


object Demo01_UDAF {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = Spa...

			
		

	





	

		

			

				
					
《Spark 先知先觉》DataFrame 聚合操作

				
			

			

				

					HadwinLing
				

				

					08-11
					
					787
					
				

			

		

		

			
				
聚合操作
    // 首先读取零售业的采购数据，然后对数据进行重划分以减少分区数量（因为我们事先知道仅有少量数据存储在大量的小文件里），
    // 最后将这些数据缓存起来以便后续的快速访问
    val df = spark.read.format("csv")
      .option("header", true)
      .option("inferSchema", true)
      .load(inputPath)
      .coalesce(5) // 小分区合并
    

			
		

	





	

		

			

				
					
sparksql 定义聚合函数_SparkSQL 内置函数：  聚合函数，集合函数，日期操作，数学，字符串操作...

				
			

			

				

					weixin_35918734的博客
				

				

					12-30
					
					735
					
				

			

		

		

			
				
SparkSQL自带了一组功能丰富的内置函数，这些函数既可以用于DataFrame API， 也可以用于SQL接口。内置函数可以分为几类： 聚合操作， 集合操作， 日期/时间， 数学， 字符串，窗口操作，其他。from pyspark.sql import SparkSessionimport pyspark.sql.functions as Fspark = SparkSession \.bui...

			
		

	





	

		

			

				
					
spark sql 自定义函数以及dataframe Row的解析

				
			

			

				

					qq_38250124的博客
				

				

					06-08
					
					2898
					
				

			

		

		

			
				
//自定义函数

val spark = SparkSession
   .builder()
   .master("local[*]")
   .appName("dataDeal")
   .getOrCreate()

spark.udf.register("functionName", (args: String) => {
   if (args...

			
		

	





	

		

			

				
					
spark 聚合函数代码

				
			

			

				

					05-14
				

			

		

		

			
				
Spark是一个开源的大数据处理框架，支持分布式计算和数据处理。在Spark中，聚合函数用于对数据集进行聚合操作，例如对数据进行求和、计数、平均值、最大值或最小值等操作。

下面是一个Spark聚合函数的代码示例，用于计算数据集中每个键的平均值：

```
// 导入Spark相关类
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession

object AggregateFunctionExample {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession实例
    val spark = SparkSession.builder()
      .appName("Aggregate Function Example")
      .master("local[*]")
      .getOrCreate()

    // 创建一个键值对RDD
    val data = Seq(("key1", 10), ("key2", 20), ("key1", 30), ("key2", 40))

    // 将RDD转换为DataFrame
    val df = spark.createDataFrame(data).toDF("key", "value")

    // 使用groupBy和agg函数计算每个键的平均值
    val result = df.groupBy("key").agg(avg("value"))

    // 打印结果
    result.show()
  }
}
```

以上代码首先创建了一个SparkSession实例，并创建了一个键值对RDD。然后将RDD转换为DataFrame，使用groupBy和agg函数计算每个键的平均值，并打印结果。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值