Spark实现统计插入

最新推荐文章于 2022-07-21 11:04:03 发布

原创

最新推荐文章于 2022-07-21 11:04:03 发布 · 404 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何使用Spark SQL进行多表连接查询，统计dept表中每个部门的人数，根据人数逆序排序并将结果存储到新的统计表stat。首先创建统计表，然后建立Spark SQL项目并导入依赖，接着通过数据库连接工具类获取连接，定义StatResult实体类，编写数据保存方法，最后进行测试。在实现过程中遇到了foreach不适用和scala版本不匹配的问题，通过修改Scala版本和spark-sql依赖解决了这些问题。

概述：本文主要实现Saprk SQL多表连接查询，并将结果存入新表。需求说明：数据库中存在emp和dept两张表，统计dept表中每个部门的人数逆序排序并存入统计表stat。

如图所示

1、创建统计表

CREATE TABLE `stat` (
  `deptName` varchar(10) DEFAULT NULL,
  `total` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、创建Spark SQL项目，导入相关依赖

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
        <groupId