Spark集群中使用spark-submit提交jar任务包

本文介绍如何在IDEA中打包Scala程序为JAR包并使用spark-submit命令部署到Spark集群。涵盖IDEA项目搭建、代码编写、打包流程及spark-submit参数详解。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转载:

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - youkuaiyun.com
http://blog.youkuaiyun.com/cafuc46wingw/article/details/45043941

 

一、所遇问题

       由于在IDEA下可以方便快捷地运行Scala程序,所以先前并没有在终端下使用Spark-submit提交打包好的jar任务包的习惯,但是其只能在local模式下执行,在网上搜了好多帖子设置VM参数都不能启动spark集群,由于实验任务紧急只能暂时作罢IDEA下任务提交,继而改由终端下使用spark-submit提交打包好的jar任务。

二、spark-shell功能介绍

        进入$SPARK_HOME目录,输入bin/spark-submit --help可以得到该命令的使用帮助。



       --master  MASTER_URL                          spark://host:port, mesos://host:port, yarn, or local.
       --deploy-mode    DEPLOY_MODE          driver运行之处,client运行在本机,cluster运行在集群
       --class CLASS_NAME                              应用程序包的要运行的class
       --name NAME                                             应用程序名称
       --jars JARS                                                  用逗号隔开的driver本地jar包列表以及executor类路径
       --py-files PY_FILES                                   用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
       --files                                                            FILES 用逗号隔开的要放置在每个executor工作目录的文件列表
       --properties-file                                           FILE 设置应用程序属性的文件放置位置,默认是conf/spark-defaults.conf
       --driver-memory MEM                               driver内存大小,默认512M
       --driver-java-options                                  driver的java选项
       --driver-library-path                                    driver的库路径Extra library path entries to pass to the driver
       --driver-class-path                                      driver的类路径,用--jars 添加的jar包会自动包含在类路径里
       --executor-memory MEM                          executor内存大小,默认1G

       Spark standalone with cluster deploy mode only:
       --driver-cores NUM driver使用内核数,默认为1
       --supervise 如果设置了该参数,driver失败是会重启

       Spark standalone and Mesos only:
       --total-executor-cores NUM executor使用的总核数

       YARN-only:
       --executor-cores NUM 每个executor使用的内核数,默认为1
       --queue QUEUE_NAME 提交应用程序给哪个YARN的队列,默认是default队列
       --num-executors NUM 启动的executor数量,默认是2个
       --archives ARCHIVES 被每个executor提取到工作目录的档案列表,用逗号隔开

      关于以上spark-submit的help信息,有几点需要强调一下:

  • 关于--master  --deploy-mode,正常情况下,可以不需要配置--deploy-mode,使用下面的值配置--master就可以了,使用类似 --master spark://host:port --deploy-mode cluster会将driver提交给cluster,然后就将worker给kill的现象。
 Master URL 含义
 local 使用1个worker线程在本地运行Spark应用程序
 local[K] 使用K个worker线程在本地运行Spark应用程序
 local[*] 使用所有剩余worker线程在本地运行Spark应用程序
 spark://HOST:PORT 连接到Spark Standalone集群,以便在该集群上运行Spark应用程序
 mesos://HOST:PORT 连接到Mesos集群,以便在该集群上运行Spark应用程序
 yarn-client 以client方式连接到YARN集群,集群的定位由环境变量HADOOP_CONF_DIR定义,该方式driver在client运行。
 yarn-cluster 以cluster方式连接到YARN集群,集群的定位由环境变量HADOOP_CONF_DIR定义,该方式driver也在集群中运行。
  • 如果要使用--properties-file的话,在--properties-file中定义的属性就不必要在spark-sumbit中再定义了,比如在conf/spark-defaults.conf 定义了spark.master,就可以不使用--master了。关于Spark属性的优先权为:SparkConf方式 > 命令行参数方式 >文件配置方式,具体参见Spark1.0.0属性配置
  • 和之前的版本不同,Spark1.0.0会将自身的jar包和--jars选项中的jar包自动传给集群。
  • Spark使用下面几种URI来处理文件的传播:
    • file:// 使用file://和绝对路径,是由driver的HTTP server来提供文件服务,各个executor从driver上拉回文件。
    • hdfs:, http:, https:, ftp: executor直接从URL拉回文件
    • local: executor本地本身存在的文件,不需要拉回;也可以是通过NFS网络共享的文件。
  • 如果需要查看配置选项是从哪里来的,可以用打开--verbose选项来生成更详细的运行信息以做参考。


三、如何将scala程序在IDEA中打包为JAR可执行包

 

A:建立新项目(new project)

  • 创建名为KMeansTest的project:启动IDEA -> Welcome to IntelliJ IDEA -> Create New Project -> Scala -> Non-SBT -> 创建一个名为KMeansTest的project(注意这里选择自己安装的JDK和scala编译器) -> Finish。
  • 设置KMeansTest的project structure
    • 增加源码目录:File -> Project Structure -> Medules -> KMeansTest,给KMeansTest创建源代码目录和资源目录,注意用上面的按钮标注新增加的目录的用途。


 

  • 增加开发包:File -> Project Structure -> Libraries -> + -> java ->  选择
    • /usr/local/spark/spark-1.0.2-bin-hadoop2/lib/spark-assembly-1.0.2-hadoop2.2.0.jar
    • /root/.sbt/boot/scala-2.10.4/lib/scala-library.jar可能会提示错误,可以根据fix提示进行处

     (这里也可以选择SBT选项来初始化工程,这样就会自动生成以上所需的目录及库包)

 

B:编写代码

      在源代码scala目录下创建1个名为KMeansTest的package,并增加3个object(SparkPi、WordCoun、SparkKMeans):

 

[plain] view plain copy

//SparkPi代码  

  

package <span style="font-size:14px;"><span style="font-size:14px;"><span style="font-size:14px;">KMeansTest</span></span></span>    

    

import scala.math.random    

import org.apache.spark._    

    

/** Computes an approximation to pi */    

object SparkPi {    

  def main(args: Array[String]) {    

    val conf = new SparkConf().setAppName("Spark Pi")    

    val spark = new SparkContext(conf)    

    val slices = if (args.length > 0) args(0).toInt else 2    

    val n = 100000 * slices    

    val count = spark.parallelize(1 to n, slices).map { i =>    

      val x = random * 2 - 1    

      val y = random * 2 - 1    

      if (x*x + y*y < 1) 1 else 0    

    }.reduce(_ + _)    

    println("Pi is roughly " + 4.0 * count / n)    

    spark.stop()    

  }    

}    

[plain] view plain copy

// WordCount1代码  

  

 package <span style="font-size:14px;"><span style="font-size:14px;"><span style="font-size:14px;">KMeansTest</span></span></span>    

     

 import org.apache.spark.{SparkContext, SparkConf}    

 import org.apache.spark.SparkContext._    

     

 object WordCount1 {    

   def main(args: Array[String]) {    

     if (args.length == 0) {    

       System.err.println("Usage: WordCount1 <file1>")    

       System.exit(1)    

     }    

     

     val conf = new SparkConf().setAppName("WordCount1")    

     val sc = new SparkContext(conf)    

     sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _).take(10).foreach(println)    

     sc.stop()    

   }    

 }    

 

[plain] view plain copy

//SparkKMeans代码  

package KMeansTest  

  

import java.util.Random  

import breeze.linalg.{Vector, DenseVector, squaredDistance}  

import org.apache.spark.{SparkConf, SparkContext}  

import org.apache.spark.SparkContext._  

  

object SparkKMeans {  

  val R = 1000     // Scaling factor  

  val rand = new Random(42)  

  

  def parseVector(line: String): Vector[Double] = {  

    DenseVector(line.split(' ').map(_.toDouble))  

  }  

  

  def closestPoint(p: Vector[Double], centers: Array[Vector[Double]]): Int = {  

    var index = 0  

    var bestIndex = 0  

    var closest = Double.PositiveInfinity  

  

    for (i <- 0 until centers.length) {  

      val tempDist = squaredDistance(p, centers(i))  

      if (tempDist < closest) {  

        closest = tempDist  

        bestIndex = i  

      }  

    }  

  

    bestIndex  

  }  

  

  def main(args: Array[String]) {  

    if (args.length < 3) {  

      System.err.println("Usage: SparkKMeans <file> <k> <convergeDist>")  

      System.exit(1)  

    }  

    val sparkConf = new SparkConf().setAppName("SparkKMeans").setMaster(args(0))  

    val sc = new SparkContext(sparkConf)  

    val lines = sc.textFile(args(1))  

    val data = lines.map(parseVector _).cache()  

    val K = args(2).toInt  

    val convergeDist = args(3).toDouble  

  

    val kPoints = data.takeSample(withReplacement = false, K, 42).toArray  

    var tempDist = 1.0  

  

    while(tempDist > convergeDist) {  

      val closest = data.map (p => (closestPoint(p, kPoints), (p, 1)))  

  

      val pointStats = closest.reduceByKey{case ((x1, y1), (x2, y2)) => (x1 + x2, y1 + y2)}  

  

      val newPoints = pointStats.map {pair =>  

        (pair._1, pair._2._1 * (1.0 / pair._2._2))}.collectAsMap()  

  

      tempDist = 0.0  

      for (i <- 0 until K) {  

        tempDist += squaredDistance(kPoints(i), newPoints(i))  

      }  

  

      for (newP <- newPoints) {  

        kPoints(newP._1) = newP._2  

      }  

      println("Finished iteration (delta = " + tempDist + ")")  

    }  

  

    println("Final centers:")  

    kPoints.foreach(println)  

    sc.stop()  

  }  

}  


C:生成jar程序包
       生成jar程序包之前要先建立一个artifacts,File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies,然后随便选一个class作为主class。

 

按OK后, Build -> Build Artifacts -> KMeansTest -> rebuild进行打包,经过编译后,程序包放置在out/artifacts/KMeansTest目录下,文件名为KMeansTest.jar。

D:Spark应用程序部署

       将生成的程序包KMeansTest.jar复制到spark安装目录下,切换到用户Hadoop/bin目录下进行程序的部署。

 

四、spark-shell下进行jar程序包提交运行实验

 

        下面给出了几种实验CASE的命令:




 

         在使用spark-submit提交spark应用程序的时候,需要注意以下几点:

  • 集群外的客户机向Spark Standalone部署Spark应用程序时,要注意事先实现该客户机和Spark Standalone之间的SSH无密码登录。
  • 向YARN部署spark应用程序的时候,注意executor-memory的大小,其内存加上container要使用的内存(默认值是1G)不要超过NM可用内存,不然分配不到container来运行executor。

 

参考资料:Spark1.0.0 应用程序部署工具spark-submit 

                    使用IntelliJ IDEA开发Spark1.0.0应用程序 

<think>我们正在解决的是spark-submit提交任务时因spark.shuffle.service未开启导致的报错。根据用户上一次的问题和回答,我们知道这个报错通常发生在启用了动态分配(`spark.dynamicAllocation.enabled=true`)但没有配置外部Shuffle服务的情况下。因此,解决方案的核心是启用外部Shuffle服务并正确配置。 由于用户提到的是spark-submit提交任务时的报错,我们假设用户是在YARN集群上运行(因为这是最常见的生产环境)。因此,我们将重点放在YARN集群的配置上。 步骤概述: 1. 在Spark配置中启用Shuffle服务(spark.shuffle.service.enabled) 2. 配置YARN以支持Spark的Shuffle服务(修改yarn-site.xml) 3. 部署Spark的Shuffle服务JAR到YARN的NodeManager 4. 重启NodeManager服务 5. 在提交任务时确保传递了正确的配置 下面详细展开: ### 解决方案:启用Spark Shuffle服务(针对YARN集群) #### 步骤1:修改Spark配置 在`$SPARK_HOME/conf/spark-defaults.conf`文件中添加以下配置: ```properties # 启用外部Shuffle服务 spark.shuffle.service.enabled true # 设置Shuffle服务端口(默认为7337,确保该端口在集群内开放) spark.shuffle.service.port 7337 # 同时,确保动态分配已启用(如果报错要求启用动态分配,则通常需要开启) spark.dynamicAllocation.enabled true ``` #### 步骤2:配置YARN的NodeManager 修改每个NodeManager节点上的`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件,添加以下内容: ```xml <configuration> <!-- 在aux-services中添加spark_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> <!-- 指定spark_shuffle的类 --> <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <!-- 指定shuffle服务的jar位置(可选,如果已经放到lib目录下则不需要) --> <property> <name>yarn.nodemanager.aux-services.spark_shuffle.remote.path</name> <value>/path/to/spark/yarn/spark-<version>-yarn-shuffle.jar</value> </property> </configuration> ``` #### 步骤3:部署Shuffle服务JARSpark自带的Shuffle服务JAR复制到YARN的lib目录下(每个NodeManager节点): ```bash # 进入Spark的yarn目录,找到对应的jar(注意版本匹配) cp $SPARK_HOME/yarn/spark-<version>-yarn-shuffle.jar $HADOOP_HOME/share/hadoop/yarn/lib/ ``` 注意:`<version>`需要替换为实际的Spark版本,例如Spark3.1.2,则可能是`spark-3.1.2-yarn-shuffle.jar`。 #### 步骤4:重启NodeManager 在每个NodeManager节点上重启服务: ```bash $HADOOP_HOME/sbin/yarn-daemon.sh restart nodemanager ``` #### 步骤5:提交任务时确保配置生效 在提交任务时,可以通过`--conf`参数再次指定配置,以确保覆盖: ```bash spark-submit --master yarn \ --conf spark.shuffle.service.enabled=true \ --conf spark.dynamicAllocation.enabled=true \ --class your.main.class \ /path/to/your-app.jar ``` ### 验证配置是否生效 - 在NodeManager的日志中搜索`YarnShuffleService`,查看是否启动成功。 -Spark任务的日志中,查看是否有与Shuffle服务相关的错误。 ### 注意事项 1. **版本兼容性**:不同版本的Spark对应的Shuffle服务JAR名称可能不同,请确保使用正确的版本。例如,Spark 2.x版本通常为`spark-yarn_2.xx-<version>.jar`,而Spark 3.x版本为`spark-<version>-yarn-shuffle.jar`。 2. **端口冲突**:如果7337端口已被占用,可以修改`spark.shuffle.service.port`为其他端口,并确保防火墙规则允许该端口通信。 3. **动态分配参数调整**:如果启用了动态分配,可能需要调整其他相关参数,如`spark.dynamicAllocation.minExecutors`、`spark.dynamicAllocation.maxExecutors`等。 ### 常见问题排查 - **ClassNotFoundException: org.apache.spark.network.yarn.YarnShuffleService**:说明JAR没有正确部署到NodeManager的classpath中。检查JAR位置和`yarn.nodemanager.aux-services.spark_shuffle.class`的配置。 - **端口冲突**:如果启动Shuffle服务时出现端口冲突,修改端口并重启NodeManager。 - **防火墙问题**:确保集群节点之间的Shuffle服务端口(默认7337)是开放的。 ### 相关问题 1. **如何在不启用动态分配的情况下避免该错误?** 如果不使用动态分配,可以设置`spark.dynamicAllocation.enabled=false`,但这样就不能利用动态分配带来的资源优化。 2. **在Standalone模式下如何配置外部Shuffle服务?** 在Standalone模式下,需要在每个Worker节点上手动启动Shuffle服务,并配置`spark.shuffle.service.enabled=true`和`spark.shuffle.service.port`。 3. **如何调整Shuffle服务的性能参数?** 可以调整`spark.shuffle.service.db.enabled`(启用索引缓存)、`spark.shuffle.service.index.cache.size`(缓存大小)等参数来优化性能[^3]。 4. **动态分配下Executor意外退出的原因?** 可能是由于Shuffle数据传输超时(调整`spark.shuffle.service.timeout`)或Executor空闲超时(调整`spark.dynamicAllocation.executorIdleTimeout`)设置过短。 [^1]: Spark动态分配错误分析 [^2]: SparkContext初始化报错详情 [^3]: ShuffleManager实现机制</think>### Spark-submit报错:`spark.shuffle.service`未开启解决方案 #### 问题分析 当提交Spark任务时出现`spark.shuffle.service`相关报错(如`Dynamic allocation requires external shuffle service`),通常是因为: 1. 启用了Executor动态分配(`spark.dynamicAllocation.enabled=true`)但未配置外部Shuffle服务[^1] 2. YARN集群未部署Spark Shuffle服务 3. Spark配置与集群环境不匹配 --- ### 完整解决步骤(YARN模式) #### 1. 检查动态分配配置 在`spark-submit`命令或`spark-defaults.conf`中确认配置: ```bash # 必须同时启用这两个配置 spark-submit --master yarn \ --conf spark.dynamicAllocation.enabled=true \ --conf spark.shuffle.service.enabled=true \ ... ``` #### 2. 部署YARN Shuffle服务 **步骤1:修改yarn-site.xml** ```xml <!-- 添加spark_shuffle服务 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle</value> </property> <!-- 指定Shuffle实现类 --> <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> ``` **步骤2:复制Shuffle JAR** ```bash # 查找Spark安装目录中的shuffle jar find $SPARK_HOME -name "*yarn-shuffle*.jar" # 复制到YARN的lib目录(所有节点) cp $SPARK_HOME/yarn/spark-3.5.0-yarn-shuffle.jar $HADOOP_HOME/share/hadoop/yarn/lib/ ``` **步骤3:重启服务** ```bash # 重启所有NodeManager $HADOOP_HOME/sbin/yarn-daemon.sh restart nodemanager ``` #### 3. 验证服务状态 检查NodeManager日志: ```log INFO org.apache.spark.network.yarn.YarnShuffleService: Started on port: 7337 INFO org.apache.spark.network.shuffle.ExternalShuffleBlockHandler: Registered executorId... ``` #### 4. 提交任务时强制配置 ```bash spark-submit --master yarn \ --conf spark.shuffle.service.enabled=true \ --conf spark.dynamicAllocation.enabled=true \ --conf spark.shuffle.service.port=7337 \ --class your.MainClass \ /path/to/your-app.jar ``` --- ### 配置说明表 | 配置项 | 推荐值 | 作用 | |--------|--------|------| | `spark.shuffle.service.enabled` | true | 启用外部Shuffle服务[^2] | | `spark.dynamicAllocation.enabled` | true | 动态分配Executor | | `spark.shuffle.service.port` | 7337 | Shuffle服务端口 | | `yarn.nodemanager.aux-services` | spark_shuffle | YARN辅助服务声明 | --- ### 常见问题排查 1. **ClassNotFoundException: YarnShuffleService** ```bash # 确保JAR路径正确 ls $HADOOP_HOME/share/hadoop/yarn/lib/*shuffle*.jar ``` 2. **端口冲突** ```bash # 修改服务端口 --conf spark.shuffle.service.port=7447 ``` 3. **防火墙问题** ```bash # 开放端口(所有节点) sudo firewall-cmd --permanent --add-port=7337/tcp sudo firewall-cmd --reload ``` 4. **版本不匹配** - Spark 3.x 必须使用`spark-3.x-yarn-shuffle.jar` - Spark 2.x 使用`spark-yarn_2.xx-x.x.x.jar` --- ### 相关问题 1. **如何在Standalone集群配置Shuffle服务?** 需在每个Worker节点手动启动`$SPARK_HOME/sbin/start-shuffle-service.sh`并配置`spark.shuffle.service.enabled=true`[^3] 2. **动态分配下Executor频繁回收怎么办?** 调整超时参数:`spark.dynamicAllocation.executorIdleTimeout=60s` 3. **如何验证Shuffle服务是否正常工作?** 查看Executor日志:`Registered with external shuffle service` 4. **YARN模式下如何优化Shuffle性能?** 启用`spark.shuffle.service.index.cache.size=1g`增加索引缓存 [^1]: Spark动态分配机制要求 [^2]: YARN辅助服务配置规范 [^3]: Standalone集群部署文档
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值