Spark实现统计插入

最新推荐文章于 2024-01-02 17:04:28 发布

JeeThink

最新推荐文章于 2024-01-02 17:04:28 发布

阅读量384

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/luckGeek/article/details/89913574

本文介绍如何使用Spark SQL进行多表连接查询，统计dept表中每个部门的人数，根据人数逆序排序并将结果存储到新的统计表stat。首先创建统计表，然后建立Spark SQL项目并导入依赖，接着通过数据库连接工具类获取连接，定义StatResult实体类，编写数据保存方法，最后进行测试。在实现过程中遇到了foreach不适用和scala版本不匹配的问题，通过修改Scala版本和spark-sql依赖解决了这些问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概述：本文主要实现Saprk SQL多表连接查询，并将结果存入新表。需求说明：数据库中存在emp和dept两张表，统计dept表中每个部门的人数逆序排序并存入统计表stat。

如图所示

1、创建统计表

CREATE TABLE `stat` (
  `deptName` varchar(10) DEFAULT NULL,
  `total` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、创建Spark SQL项目，导入相关依赖

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
        <groupId