Spark SQL UDF使用

最新推荐文章于 2024-03-24 14:34:12 发布
最新推荐文章于 2024-03-24 14:34:12 发布
阅读量974 收藏 1
点赞数
分类专栏： Spark

 Spark1.1推出了Uer Define Function功能，用户可以在Spark SQL 里自定义实际需要的UDF来处理数据。

    因为目前Spark SQL本身支持的函数有限，一些常用的函数都没有，比如len, concat...etc 但是使用UDF来自己实现根据业务需要的功能是非常方便的。

   Spark SQL UDF其实是一个Scala函数，被catalyst封装成一个Expression结点，最后通过eval方法计根据当前Row计算UDF的结果，源码分析见：Spark SQL源码分析之UDF

   Spark SQL UDF使用起来非常方便，分2个步骤：

   一、注册

     当我们导入了SQLContext或者HiveContext，即有注册UDF的功能。

   registerFunction(udfName : String, func : FunctionN)

    由于scala语言的限制，这里UDF的参数仅支持22个。

   二、使用

    select udfName(param1, param2....) from tableName

   三、示例

我们这里创建2张表：
第一张dual会从README.md读取记录，里面仅有一个字段line : String
第二张表src，有2个字段key,value，数据是spark sql自带的测试数据。

我们使用  sbt/sbt hive/console进入测试环境：

1、字符串取长度 len()

创建table dual:
[java]  view plain  copy
  1. scala> sql("create table dual(line string)").collect()  
  2. 14/09/19 17:41:34 INFO metastore.HiveMetaStore: 0: create_table: Table(tableName:dual, dbName:default, owner:root, createTime:1411119694, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:line, type:string, comment:null)], location:null, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=1}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[], parameters:{}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE, privileges:PrincipalPrivilegeSet(userPrivileges:null, groupPrivileges:null, rolePrivileges:null))  
  3. 14/09/19 17:41:34 INFO HiveMetaStore.audit: ugi=root    ip=unknown-ip-addr      cmd=create_table: Table(tableName:dual, dbName:default, owner:root, createTime:1411119694, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:line, type:string, comment:null)], location:null, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=1}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[], parameters:{}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE, privileges:PrincipalPrivilegeSet(userPrivileges:null, groupPrivileges:null, rolePrivileges:null))  
载入README.md数据:
[java]  view plain  copy
  1. sql("load data local inpath 'README.md' into table dual ").collect()  
  2.   
  3. scala> sql("select * from dual").collect()  
  4. res4: Array[org.apache.spark.sql.Row] = Array([# Apache Spark], [], [Spark is a fast and general cluster computing system for Big Data. It provides], [high-level APIs in Scala, Java, and Python, and an optimized engine that], [supports general computation graphs for data analysis. It also supports a], [rich set of higher-level tools including Spark SQL for SQL and structured], [data processing, MLLib for machine learning, GraphX for graph processing,], [and Spark Streaming.], [], [<http://spark.apache.org/>], [], [], [## Online Documentation], [], [You can find the latest Spark documentation, including a programming], [guide, on the project webpage at <http://spark.apache.org/documentation.html>.], [This README file only contains basic setup instructions.], [], [## Building Spark], [], ...  
编写len函数并，注册函数：
[java]  view plain  copy
  1. scala> registerFunction("len",(x:String)=>x.length)  
测试：
[java]  view plain  copy
  1. scala> sql("select len(line) from dual").collect()  
  2. 14/09/19 17:45:07 INFO spark.SparkContext: Job finished: collect at SparkPlan.scala:85, took 0.072239295 s  
  3. res6: Array[org.apache.spark.sql.Row] = Array([14], [0], [78], [72], [73], [73], [73], [20], [0], [26], [0], [0], [23], [0], [68], [78], [56], [0], [17], [0], [75], [0], [22], [0], [67], [0], [26], [0], [64], [0], [21], [0], [52], [0], [44], [0], [27], [0], [66], [0], [17], [4], [61], [0], [43], [0], [19], [0], [74], [74], [0], [29], [0], [32], [0], [75], [63], [67], [74], [72], [22], [0], [54], [0], [69], [0], [16], [0], [84], [17], [0], [19], [0], [31], [0], [77], [76], [77], [77], [0], [67], [27], [0], [25], [45], [0], [42], [58], [0], [91], [29], [0], [31], [58], [0], [42], [61], [0], [35], [52], [0], [77], [79], [74], [22], [0], [51], [0], [90], [0], [16], [42], [44], [30], [17], [0], [0], [56], [0], [46], [86], [78], [0], [30], [0], [16], [0], [97], [70], [0], [0], [24], [0], [78]...  

2、字符串连接concat_str

这里为了简单起见，就根据src表的key value类型 Int, String来做例子：
[java]  view plain  copy
  1. scala> sql("desc src").collect()  
  2. res8: Array[org.apache.spark.sql.Row] = Array([key,int,null], [value,string,null])  
[java]  view plain  copy
  1. scala> sql("select * from src limit 10").collect()  
  2. res7: Array[org.apache.spark.sql.Row] = Array([238,val_238], [86,val_86], [311,val_311], [27,val_27], [165,val_165], [409,val_409], [255,val_255], [278,val_278], [98,val_98], [484,val_484])  

编写并注册concat_str函数：
[java]  view plain  copy
  1. scala> registerFunction("concat_str",(a:Int, b:String)=>a.toString+b)  
测试concat函数
[java]  view plain  copy
  1. scala> sql("select concat_str(key,value) from src ").collect()  
[java]  view plain  copy
  1. 14/09/19 18:17:22 INFO spark.SparkContext: Job finished: collect at SparkPlan.scala:85, took 0.082076377 s  
  2. res28: Array[org.apache.spark.sql.Row] = Array([238val_238], [86val_86], [311val_311], [27val_27], [165val_165], [409val_409], [255val_255], [278val_278], [98val_98], [484val_484], [265val_265], [193val_193], [401val_401], [150val_150], [273val_273], [224val_224], [369val_369], [66val_66], [128val_128], [213val_213], [146val_146], [406val_406], [429val_429], [374val_374], [152val_152], [469val_469], [145val_145], [495val_495], [37val_37], [327val_327], [281val_281], [277val_277], [209val_209], [15val_15], [82val_82], [403val_403], [166val_166], [417val_417], [430val_430], [252val_252], [292val_292], [219val_219], [287val_287], [153val_153], [193val_193], [338val_338], [446val_446], [459val_459], [394val_394], [237val_237], [482val_482], [174val_174], [413val_413], [494val_494], [207val_...  
  3. scala>   

——EOF——
原创文章，转载请注明出自： http://blog.youkuaiyun.com/oopsoom/article/details/39401391
Spark SQL UDF的两种写法及用法编程
HackMasterX的博客
09-18 263
用户定义的函数（User-Defined Function，简称UDF）是Spark SQL中的一个重要特性，它允许开发人员自定义函数来处理数据。通过定义和使用UDF，我们可以灵活地对数据进行自定义的转换和处理操作，从而满足不同的业务需求。在实际开发中，可以根据具体的场景选择合适的方式来定义和使用UDF。在Spark SQL中，有两种常见的方式来定义和使用UDF，分别是使用匿名函数和使用自定义函数类。方法定义了一个将字符串转换为大写的UDF，该UDF接受一个字符串参数，并返回一个大写的字符串。
Spark中 UDF的使用
Alex的博客
02-28 6788
Spark提供了多种解决方案来应对复杂挑战， 但是我们面临了很多场景， 原生的函数不足以解决问题。因此，Spark允许我们注册自定义函数（User-Defined Functions, 或者叫 UDFs）。 SparkSQL中可以创建自定义函数UDF对dataframe进行操作，UDF是一对一的关系，用于给dataframe增加一列数据的场景。 每次传入一行数据，该行数据可以是一列，也可以是多列，进行一顿操作后，最终只能输出该新增列的一个值。 Spark支持多种语言，比如Python, Scala, Ja
【SparkSQL】SparkSQL的UDF及分析
迪焱的博客
03-24 1772
目标掌握SparkSQL中register方式定义UDF函数实施特点：最常用的方式，既能用于SQL中，也能用于DSL中语法UDF变量名 = spark.udf.register(UDF函数名, 函数的处理逻辑)定义：spark.udf.register()UDF变量名：DSL中调用UDF使用的UDF函数名：SQL中调用UDF使用需求原始数据：datas/udf/music.tsv01 周杰伦 150/17502 周杰 130/18503 周华健 148/178目标结果。
SparkSQL中的UDF
bokzmm的博客
03-22 2378
一、UDF（User Defined Function）：spark SQL中用户自定义函数，用法和spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。二、UDF使用分为两步：（1）自定义UDF类，根据业务需要，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字， 比如UDF1、UDF2；表示输入参数的个数，1表示有一个入参...
sparkSQL中udf的使用
11-04 1053
在Spark中使用sql时一些功能需要自定义方法实现，这时候就可以使用UDF功能来实现 多参数支持 UDF不支持参数*的方式输入多个参数，例如String*，不过可以使用array来解决这个问题。 定义udf方法，此处功能是将多个字段合并为一个字段 def allInOne(seq: Seq[Any], sep: String): String = seq.mkString
Spark SQL的UDF
庐州小白的博客
06-16 319
UDF（User Defined Function）：spark SQL中用户自定义函数，用法和spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。 ​ 因为目前Spark SQL本身支持的函数有限，一些常用的函数都没有，比如len, concat…etc 但是使用UDF来自己实现根据业务需要的功能是非常方便的。Spark SQL UDF其实是一个Scala函数，被catalyst封装成一个Expression结点，最后通过eval方法计根据当前Ro
SparkSQL UDF函数
小叮当的博客
02-21 856
无论是Hive还是SparkSQL分析处理数据时，往往需要使用函数，SparkSQL模块本身自带很多实现公共功能的函数，在pyspark.sql.functions中。Hive中常见的自定义函数有三种UDF（一对一）、UDAF（多对一）、UDTF（一对多）。在SparkSQL中，目前仅仅支持UDAF与UDF，而python仅支持UDF。sparksession.udf.register()：注册的UDF可以用DSL和SQL，返回值用于DSL风格，传参内给的名字用于SQL风格。
spark-theta-sketch-udfs：该项目旨在使用Yahoo Theta Sketch API作为Spark sql UDF
02-06
1. **UDF定义**：开发者定义了一系列Spark SQL UDFs，如`createThetaSketch`用于创建新的Sketch对象，`mergeThetaSketch`用于合并两个或多个Sketch，以及`estimate`用于获取Sketch的估算值等。 2. **Sketch与...
使用UDF扩展Spark SQL
日常分享数据分析开发、编程语言内容
01-03 1143
UDF是一种用户自定义的函数，可以在Spark SQL查询中使用自定义的计算逻辑。UDF可以用于扩展Spark SQL的功能，使其能够执行自定义操作，无论是数据清洗、数据转换还是其他复杂的计算。UDF通常由用户编写的代码组成，并且可以在SQL查询中像内置函数一样使用。在使用UDF之前，首先需要定义UDF。在Spark中，可以使用Scala、Java或Python来编写UDF。下面是一个使用Python定义UDF的示例。假设有一个包含员工姓名的表，并且希望将所有的名字转换为大写。
Spark-SQL UDF函数
南风知我意
07-05 595
UDF函数
Spark_SQL的UDF使用
CarveStone的博客
01-30 1030
用户自定义函数，也叫UDF，可以让我们使用Python/Java/Scala注册自定义函数，并在SQL中调用。这种方法很常用，通常用来给机构内的SQL用户们提供高级功能支持，这样这些用户就可以直接调用注册的函数而无需自己去通过编程来实现了。
SparkSql之UDF编写
shyming's blog
02-01 442
数据 {"name":"uzi","age":20} {"name":"gala","age":22} {"name":"theshy","age":21} 代码 package com.bfd.sql import org.apache.spark.SparkConf import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.expressions.{MutableAggregationBuffer, Use
大数据技术之Spark SQL——UDF/UDAF函数
five小点心的博客
04-10 541
*自定义聚合函数类：计算年龄平均值1. 继承UserDefineAggregateFunction2. 重写方法*/// 输入数据的结构Array(// 缓冲区数据的结构：BufferArray(// 函数计算结果的数据类型：Out// 函数的稳定性// 缓冲区初始化// 根据输入的值更新缓冲区数据// 缓冲区数据合并// 计算平均值。
SparkSql自定义函数--UDF
别人笑我太疯癫，我笑他人看不穿。
02-19 886
Sparksql的udf函数也是我们最常用的一种函数了，下面我们看看它是如何编写的吧 package com.sparksql import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.{DataFrame, SparkSession} object UserDefinedFunction1 { def main(args: Array[String]): Unit = { val spark: SparkSes
Spark SQL 中UDF的讲解
JSON_ZJS的博客
04-26 889
Spark SQL 中UDF的讲解 User Define Function, 用户自定义函数,简称UDF,存在与很多组件中。 在使用Sparksql的人都遇到了Sparksql所支持的函数太少了的难处，除了最基本的函数，Sparksql所能支撑的函数很少，肯定不能满足正常的项目使用，UDF可以解决问题。 SparkSQL中的UDF相当于是1进1出，UDAF相当于是多进一出，类似
sparkSQL中UDF的使用
qiezikuaichuan的专栏
10-23 567
在Spark中使用sql时一些功能需要自定义方法实现，这时候就可以使用UDF功能来实现 多参数支持 UDF不支持参数*的方式输入多个参数，例如String*，不过可以使用array来解决这个问题。 定义udf方法，此处功能是将多个字段合并为一个字段 def allInOne(seq: Seq[Any], sep: String): String = seq.mkString
SparkSQL下UDF的使用
m0_37109150的博客
11-27 820
在hive中UDF函数可以在使用add jar 的方法添加，然后createTemporary function aaa as 包名.类名创建临时函数，在spark-shell这样使用会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF。 这时将jar包放到（1）spark jars下 或配置将jar包的路径配置到（
Spark SQL:UDF和UDAF
标题
01-23 605
UDF 用户定义函数（User-defined functions, UDFs）是大多数 SQL 环境的关键特性，用于扩展系统的内置功能。 UDF允许开发人员通过抽象其低级语言实现来在更高级语言（如SQL）中启用新功能。 Apache Spark 也不例外，并且提供了用于将 UDF 与 Spark SQL工作流集成的各种选项。 object UDF { def main(args: Arra...
Spark SQL UDF java实现
最新发布
02-18
为了创建自定义函数来扩展 Spark SQL 的功能，可以使用用户定义函数 (UDF)[^1]。下面展示了如何通过 Java 实现 Spark SQL UDF 并注册到 SparkSession 中。 #### 创建简单的字符串处理 UDF ```java import org....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值