大数据系列篇-SPARK-SQL用户定义函数

原创已于 2022-02-27 10:20:51 修改 · 363 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sql #big data #scala

于 2022-02-20 19:30:42 首次发布

分布式同时被 3 个专栏收录

26 篇文章

订阅专栏

大数据

16 篇文章

订阅专栏

spark

9 篇文章

订阅专栏

该博客展示了如何在Scala中使用Spark SQL注册并调用用户定义函数（UDF）。通过创建一个简单的`prefixName`函数，将名字前缀以'用户名:'，然后在DataFrame上执行SQL查询展示结果。

大数据系列篇-SPARK-SQL用户定义函数

package com.test

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

//用户定义函数
object SparkSqlUdf {

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setAppName("练习SparkSqlUdf").setMaster("local[*]")
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()

    val df = spark.read.json("data/user.json")
    df.createOrReplaceTempView("user")

    spark.udf.register("prefixName",(name:String)=>{
      "用户名:" + name
    })

    spark.sql("SELECT age,prefixName(userName) as prefixUserName FROM user").show()

    spark.close()

  }
}