Spark注册UDF函数，用于DataFrame DSL or SQL

最新推荐文章于 2024-11-06 20:12:44 发布

佛空如水

最新推荐文章于 2024-11-06 20:12:44 发布

阅读量1k

点赞数

本文介绍如何使用 Spark SQL 进行基本操作，并演示了如何注册和使用自定义的 UDF 函数来处理 DataFrame 中的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网址：https://www.cnblogs.com/wwxbi/p/6798384.html

import org.apache.spark.sql.SparkSession

import org.apache.spark.sql.functions._

object Test2 {

  def main(args: Array[String]): Unit = {

    val spark = SparkSession

      .builder()

      .appName("Spark
 SQL basic example")

      .config("spark.some.config.option", "some-value")

      .getOrCreate()

    //
 For implicit conversions like converting RDDs to DataFrames

    import spark.implicits._

    val df = Seq(("id1", 1, 100),
 ("id2", 4, 300),
 ("id3", 5, 800)).toDF("id", "value", "cnt")

    df.printSchema()

    //
 注册自定义UDF函数

    spark.udf.register("simpleUDF",
 (v: Int,
 w: Int) =>
 v * v + w * w)

    df.select($"id",
 callUDF("simpleUDF",
 $"value",
 $"cnt")).toDF("id", "value").show

  }

}