spark sql自定义函数udf

最新推荐文章于 2024-11-06 20:12:44 发布

sxyqhyt

最新推荐文章于 2024-11-06 20:12:44 发布

阅读量627

点赞数

CC 4.0 BY-SA版权

分类专栏： spark scala 文章标签： spark scala udf

本文链接：https://blog.youkuaiyun.com/sxyqhyt/article/details/84714278

spark 同时被 2 个专栏收录

7 篇文章

订阅专栏

scala

4 篇文章

订阅专栏

本文介绍如何在Spark中实现并使用自定义函数（UDF），包括定义、注册及在Spark SQL查询中的应用过程。通过案例演示了如何计算用户访问次数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 def visitview(vtimes : Iterable[String]): Long ={
    var times = 0L
    if(vtimes.size == 0){
    }else{
      val lb = scala.collection.mutable.ListBuffer.empty[String]
      for(vtime <- vtimes){
        lb.append(vtime)
      }
      times = 1L
      val list = lb.toList.sorted
      for(i <- 0 to list.size-2){
        if(list(i+1).toLong - list(i).toLong > DEFAULT_VISIT_TIMEOUT){
          times = times + 1
        }
      }
    }
    times
  }

    val sparkConf = new SparkConf().setAppName("ChexunHourCount").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)

    sqlContext.udf.register("visitview",ConstantUtil.visitview _)

case class Loging(vtime:Long, userIp:Long, muid:String, uref:String, ucp:String)
val df = file.map(_.split("\t")).filter(x=>ConstantUtil.isNotPromote(x(3))).filter(y=>ConstantUtil.isNotPromote(y(2))).map(t => Loging(t(9).toLong,t(8).toLong,t(1),t(2),t(3))).toDF()
df.registerTempTable("loging")
val vvCount = sqlContext.sql("select sum(visitview(vtime)) from loging group by muid  limit 10 ").collect()

1、自定义函数

2、注册函数

3、在spark sql中使用自定义函数