Spark任务提交 第1关:spark-submit提交

本篇博客主要介绍了如何使用spark-submit提交Spark任务,包括理解相关参数、提交程序到集群运行的步骤,以及一个计算圆周率的示例。通过观看配套视频《spark-submit提交》和按照编程要求补充代码,读者可以掌握Spark任务的提交过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

相关知识

为了完成本关任务,你需要掌握:1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数

参 数 介 绍
--master 提交到哪里执行,如 standalone,local,yarn,mesos等
--name  应用程序的名称
--class 应用程序的主类
--deploy-mode  Driver 程序运行的地方,client 或者 cluster,默认是client
--driver-memory  Driver内存,默认 1G
--executor-memory 每个executor的内存,默认是1G

使用格式:

./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar

计算圆周率


                
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值