java spark的使用和配置

最新推荐文章于 2025-04-28 19:57:14 发布

原创

最新推荐文章于 2025-04-28 19:57:14 发布 · 3.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java

本文介绍如何在SpringBoot项目中集成Apache Spark，包括配置文件、依赖管理及启动会话的实现方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

spark在java使用比较少，多是scala的用法，我这里介绍一下我在项目中使用的代码配置
详细算法的使用请点击我主页列表查看

版本

jar	版本	说明
spark	3.0.1
scala	2.12	这个版本注意和spark版本对应，只是为了引jar包
springboot版本	2.3.2.RELEASE

maven

<!-- spark -->
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.12</artifactId>
                <version>${spark.version}</version>
                <exclusions>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-log4j12</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>log4j</groupId>
                        <artifactId>log4j</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
            <dependency>
                <groupId>