Spark作业提交到集群执行详解

Spark作业提交到集群的命令格式如下

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

参数定义如下：

• --class: 应用程序的入口类
• --master:  资源管理器master的URL，例如spark standalone资源管理器地址： spark://23.195.26.187:7077， yarn集群地址：yarn， 本地调试模式地址：local
• --deploy-mode:  部署模式，如果driver要部署到集群的worker节点，则设置为cluster，如果driver部署在本地开发机，则使用client，默认值为client
• --conf: Spark环境相关的一些配置
• application-jar: 应用程序的jar包
• application-arguments: 入口类的输入参数
   

示例1:  提交到yarn集群执行代码如下：

/home/work/spark-client/spark-2.2/bin/spark-sub