使用IDEA编写SparkSql自定义聚合函数——强类型Dataset（求平均值）

最新推荐文章于 2022-06-17 19:36:06 发布

风时雨润

最新推荐文章于 2022-06-17 19:36:06 发布

阅读量802

点赞数 2

CC 4.0 BY-SA版权

文章标签： spark scala

本文链接：https://blog.youkuaiyun.com/Mococco/article/details/104414750

SparkSql自定义聚合函数（强类型Dataset）求平均值

强类型的Dataset提供了相关的聚合函数，如 count()，countDistinct()，avg()，max()，min()；
除此之外，用户可以设定自己的自定义聚合函数。
代码测试前请确保各个组件均已安装

1、环境准备

	1、准备json文件：
	{"name": "zhangsan","age": 20}
	{"name": "lisi","age": 30}
	{"name": "wangwu","age": 40}
	2、使用IDEA软件，创建maven工程
	3、添加pom依赖

2、maven工程pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.spark.bigdata</groupId>
    <artifactId>sparkSql_Test</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <!-- https://mvnrepository.com