spark的自定义函数

BigData_xgs

于 2021-09-13 17:40:30 发布

阅读量279

点赞数

文章标签： spark udf

本文链接：https://blog.youkuaiyun.com/weixin_53099973/article/details/120271762

版权

该博客展示了如何在Spark中创建和使用User Defined Functions（UDF）。通过两个示例，演示了如何定义一个将时间字符串转换为特定单位（如300秒）的函数，并将其注册为UDF，以便在DataFrame操作中使用。内容包括了UDF的类型声明和自动类型推断。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下

package TEST

import org.apache.spark.sql.expressions.UserDefinedFunction
import org.apache.spark.sql.functions._

object Test5 {
  def main(args: Array[String]): Unit = {

    //写法一 给定参数类型和返回值类型
    //切记udf[返回值类型,参数类型] 不要写反了
    val xgsFunction1: UserDefinedFunction = udf[Long,String](xgs)
    //xgsFunction1就当做正常的函数一样作用在String类型的字段上啦

    //写法二 给定参数类型 自动推断返回值类型
    val xgsFunction2: UserDefinedFunction = udf((str: String) => {
      val str2: Array[String] = str.split(":")
      val d: Double = (str2(0).toDouble * 3600L) + (str2(1).toDouble * 60L) + str2(2).toDouble
      math.round(d / 300L)
    })
    
  }

  //方法里面的内容不要过于纠结 注意参数类型和返回值类型就行
  def xgs(str: String):Long={
    //str = "00:10:29"
    val str2: Array[String] = str.split(":")
    val d: Double = (str2(0).toDouble * 3600L) + (str2(1).toDouble * 60L) + str2(2).toDouble
    math.round(d / 300L)
  }
}