Spark_SparkSQL当中的自定义函数

最新推荐文章于 2023-04-06 09:26:13 发布

原创

最新推荐文章于 2023-04-06 09:26:13 发布 · 352 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文介绍如何在Apache Spark中使用自定义函数UDF进行字符串处理，包括大小写转换和长度计算，并演示了如何利用UDAF实现自定义聚合函数以计算平均值。

标题

1.导入jar包

同此：
https://blog.youkuaiyun.com/weixin_44449054/article/details/114327491?spm=1001.2014.3001.5501

2.自定义UDF函数

数据：
udf.txt

helloworld
abc
study
smallWORD

需求：
1、把小写字母变成大写
2、输出字符长度

代码：

package cn.twy

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.api.java.UDF1
import org.apache.spark.sql.types.DataTypes
import org.apache.spark.sql.{
   
   DataFrame, SQLContext, SparkSession}

case class Small(line:String)

object SparkFunction {
   
   
  def main(args: Array[String]): Unit = {
   
   
    //获取sparkSession
    val sparkSession: SparkSession = SparkSession.builder().appName("sparkFunction").master("local[2]").getOrCreate()
    //通过sparkSession得到sparkContext
    val sparkContext: SparkContext = sparkSession.sparkContext
    //读取文件内容，获取RDD
    val fileRdd: RDD[String] = sparkContext.textFile("file:///D:\\udf.txt")
    //配合我们的样例类，将我们的每一行文件内容转换成一个样例类
    val smallRdd: RDD[Small