Spark的两种UDF定义

最新推荐文章于 2024-04-01 09:25:04 发布

原创最新推荐文章于 2024-04-01 09:25:04 发布 · 147 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

1 篇文章

订阅专栏

博客主要围绕Spark的UDF定义展开，介绍了两种定义UDF的方法，有助于开发者在使用Spark进行数据处理时，根据需求灵活定义UDF以实现特定功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object UdfTest {

  def main(args: Array[String]): Unit = {

    val session: SparkSession = SparkSession.builder().master("local")
      .appName("UdfTest")
      .getOrCreate()



    import session.implicits._
    val df: DataFrame = Seq(("liutian",1),("zhujin",2),("liutian",3)).toDF("name","num")
    df.show()
    df.createOrReplaceTempView("df")

    val stringToInt: String => Int = (name:String) => {name.length}
    //脱离sql，直接对列应用UDF
    val stringToIntUdf: UserDefinedFunction = functions.udf(stringToInt)
    df.withColumn("name",stringToIntUdf('name)).show()
    //在sql中使用UDF
    session.udf.register("stringToIntUdf",stringToInt)
    session.sql("select stringToIntUdf(name) as namelength,num from df").show()
  }
}