spark编程05——本地访问Spark集群(StandAlone模式)和sparkSession常用配置

原创

于 2022-03-18 20:49:40 发布 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#IDEA链接Spark集群 #本地访问Spark集群 #sparkSession

以下代码用IDEA直接访问spark集群运行（地址是随便写的虚拟地址）

注意：一定要确保spark的版本和集群spark的版本保持一致，集群版本是3.2.0

所以如果IDEA中不是3.2.0的话，修改pom.xml文件：

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId> <!-- scala的版本 -->
            <version>3.2.0</version><!-- spark的版本 -->
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.2.0</version>
        </dependency>
    </dependencies>

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}
/**
  * 本地访问Spark集群(StandAlone模式)，以及sparkSession常用配置
  */
object ExeFromSparkStandAlone {
  def main(args: Arra