前言
spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置
详细算法的使用请点击我主页列表查看
版本
jar | 版本 | 说明 |
---|---|---|
spark | 3.0.1 | |
scala | 2.12 | 这个版本注意和spark版本对应,只是为了引jar包 |
springboot版本 | 2.3.2.RELEASE |
maven
<!-- spark -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>${spark.version}</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>