udf使用
import org.apache.spark.sql.functions.udf
udf接收一个函数(func)作为参数,返回一个UserDefinedFunction。
UserDefinedFunction接收列(Column)作为参数,并返回Column.
func可以接收普通类型参数,并返回普通类型结果。
udf会自动把Column入参转化成对应func的入参,并将func返回的结果转化成Column类型。、
注意由于udf限制。func最多接收10个参数
import org.apache.spark.sql.functions._
//一个或多个参数
val UDF0= udf{
(c1:String,c2:Int,...,)=> 函数体

本文讲述了如何在Spark中通过udf创建新列,包括函数定义、参数处理和struct函数,同时涉及udf的注册与SQL查询应用。
最低0.47元/天 解锁文章
6865

被折叠的 条评论
为什么被折叠?



