使用IDEA编写SparkSql自定义聚合函数——弱类型DataFrame（求平均值）

最新推荐文章于 2022-10-30 07:00:00 发布

原创

最新推荐文章于 2022-10-30 07:00:00 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据

SparkSql自定义聚合函数（弱类型DataFrame）求平均值

弱类型DataFrame提供了相关的聚合函数，如 count()，countDistinct()，avg()，max()，min()；
除此之外，用户可以设定自己的自定义聚合函数。
代码测试前请确保各个组件均已安装
与强类型的代码思想差不多一样，但是书写有些变化，可以参考强类型写法：
强类型DataSet

1、环境准备

	1、准备json文件：
	{"name": "zhangsan","age": 20}
	{"name": "lisi","age": 30}
	{"name": "wangwu","age": 40}
	2、使用IDEA软件，创建maven工程
	3、添加pom依赖

2、maven工程pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.spark.bigdata</groupId>
    <artifactId>sparkSql_Test</a