Spark任务提交

Ssaty.

于 2022-12-14 14:14:58 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

文章标签： spark 大数据分布式

本文链接：https://blog.youkuaiyun.com/Junds0/article/details/128315721

Educoder实训专栏收录该内容

1478 篇文章

已下架不支持订阅

本文介绍了如何使用spark-submit提交Spark程序到集群执行，详细解析了spark-submit的关键参数，包括master、name、class和deploy-mode等，并提供了示例代码，指导读者在local模式下提交程序并预期输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第1关：spark-submit提交

任务描述
本关任务：学会将程序提交到集群上执行。

相关知识
为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数
参数介绍
–master 提交到哪里执行，如 standalone，local，yarn，mesos等
–name 应用程序的名称
–class 应用程序的主类
–deploy-mode Driver 程序运行的地方，client 或者 cluster，默认是client
–driver-memory Driver内存，默认 1G
–executor-memory 每个executor的内存，默认是1G
使用格式：

./bin/spark-submit
–class
–master
–deploy-mode
–conf
… # other options
application-jar
计算圆周率
cd /opt/spark/dist/bin
./spark-submit
–master local
–class org.apache.spark.examples.SparkPi
/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar
./spark-submit --master 本地模式 --class