Spark提交任务方法

最新推荐文章于 2024-08-11 23:51:02 发布

原创最新推荐文章于 2024-08-11 23:51:02 发布 · 289 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Spark #Spark提交任务

Spark 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Spark提交任务的三种方式：Standalone、Spark On Yarn的client模式和cluster模式，包括每种模式下启动driver、设置master、配置executor参数等关键步骤，为读者提供了实用的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark提交任务方法有三种
1.StandAlone模式下提交
2.Spark On Yarn - client模式下提交
3.Spark On Yarn - cluster模式下提交
网上有许多这三种方法的原理，我总结一下使用这三种方法要用的代码，供大家参考

1.StandAlone:

	    bin/spark-submit \
	    --class day05.SparkWC2 \
	    --master spark://master:7077,slave1:7077,slave2:7077 \
	    --executor-memory 1G \
	    --total-executor-cores 2 \
	    examples/jars/SparkWC2.jar

1.在spark-submit下启动driver
2.类方法全名
3.master 可能在的节点高可用
4.executor进程启动初始化内存(配置里有可省略)
5.总核心数(配置里有可省略)
6.jar包

2.SparkOnYarn-Client (控制台可见输出结果)

		全：
		bin/spark-submit \
		--class day07.Demo.Demo.LacTimeDemo \
		--master yarn-client \
		--executor-memory 1G \
		--total-executor-cores 1 \
		/home/hadoop/install/spark/examples/jars/maven_scala.jar \
		 hdfs://192.168.22.80:9000/data/jztl.txt 	hdfs://192.168.22.80:9000/res/jztl

		简：
		bin/spark-submit \
		--class day07.Demo.Demo.LacTimeDemo \
		--master yarn-client \
		/home/hadoop/install/spark/examples/jars/maven_scala.jar

2.SparkOnYarn-Cluster (8088可见输出结果)

	bin/spark-submit \
	--class day07.Demo.Demo.LacTimeDemo \
	--master yarn-cluster \
	/home/hadoop/install/spark/examples/jars/maven_scala.jar