Spark Yarn 提交作业

最新推荐文章于 2024-08-27 21:09:18 发布

yahuikiki

最新推荐文章于 2024-08-27 21:09:18 发布

阅读量1w

点赞数 2

文章标签： Spark Ambari Yarn Standalone 作业提交

本文链接：https://blog.youkuaiyun.com/yahuikiki/article/details/82251640

版权

本文首先介绍了在Spark Standalone模式下如何提交作业，包括创建SparkContext的设置和使用spark-submit命令提交作业的详细步骤。接着，讨论了在Yarn模式下，特别是通过Ambari搭建的Spark集群，如何进行作业提交。在Yarn模式中，提交作业时需将SparkConfig的master配置改为"yarn"，并调整spark-submit命令。文章还提及了官方文档的参考链接和实际操作中的注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初学Spark时，部署的是Standalone模式（集成了HA），写的测试程序一般创建上下文时如下：

此处master设置为管理节点的集群地址（spark webui上显示的地址）。

之后将测试代码打包成jar包，上传到服务器，使用spark-submit提交作业。

提交命令：

spark-submit --master spark://s44:7077 --name MyWordCount --class com.yahuidemo.spark.scala.WordCountScala SparkDemo1-1.0-SNAPSHOT.jar hdfs://s44:8020/usr/hadoop/test.txt

打包部署参考官方api：

http://spark.apache.org/docs/latest/submitting-applications.html

注意，此处我把master设置为我集群master的url，那么可以随意定义；class参数要带包名，一直指定到要运行的类入口&#x