Spark的UDF函数简单使用

最新推荐文章于 2025-07-01 16:49:33 发布

FangStar8Jeff

最新推荐文章于 2025-07-01 16:49:33 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_34341930/article/details/90475861

Spark 专栏收录该内容

22 篇文章

订阅专栏

博客介绍了类似Hive，Spark也能进行UDF函数注册与使用。还提及要注册一个可直接统计Name对应爱好数量的函数，并提到了数据源相关内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

类似Hive，spark也可以进行UDF函数注册与使用，下面就简单的介绍一下

数据源

Jeff	音乐,电影,编程
celestia	Jeff,看书
Star	踢球

现在我们注册一个函数，它可以之间统计出Name对应的爱好数量

package com.jeff.UDF

import org.apache.spark.sql.SparkSession

object CountColumns {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("UDF")
      //.config("spark.sql.sources.partitionColumnTypeInference.enabled","false")
      .master("local[2]").getOrCreate()

    val info=spark.sparkContext.textFile("data/UDF.txt")

    import spark.implicits._


     val df = info.map(_.split("\t")).map(x=>Info(x(0).trim,x(1).trim)).toDF()

   // df.show(false)

    //info.foreach(println)

    spark.udf.register("likes_num", (str:String)=>{
      str.split(",").size
    })

    df.createOrReplaceTempView("info")
    spark.sql("select name,likes,likes_num(likes) from info ").show(false)

   spark.stop()
  }

  case class Info(name:String,likes:String)
}