Spark作业提交的方式

最新推荐文章于 2023-10-26 17:17:39 发布

Never-Giveup

最新推荐文章于 2023-10-26 17:17:39 发布

阅读量936

点赞数

分类专栏：大数据PySpark学习笔记文章标签： spark 作业提交方式 local yarn

本文链接：https://blog.youkuaiyun.com/qq_36653505/article/details/86704717

版权

本文介绍了Spark的四种运行模式，重点讲解了Local模式和YARN模式的作业提交。在Local模式下，适合开发使用；YARN模式则推荐在生产环境中使用，需设置HADOOP_CONF_DIR或YARN_CONF_DIR。提交作业时，可以通过--master参数指定运行模式。YARN模式有两种运行方式：Client模式，Driver在Client端运行，日志可见；Cluster模式，Driver在ApplicationMaster中运行，日志需通过特定命令查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Spark中，支持4种运行模式：

1）Local：开发时使用
2）Standalone：是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署Spark环境
3）YARN：建议大家在生产上使用该模式，统一使用YARN进行整个集群作业(MR、Spark)的资源调度
4）Mesos

不管使用什么模式，Spark应用程序的代码是一模一样的，只需要在提交的时候通过–master参数来指定我们的运行模式即可

1、Local模式下

提交Spark Application到环境中运行。如果要写入数据库数据则需要加上  --jars
1、该模式操作路径在本地的数据
spark-submit  \
--name SparkSessionApp \
--class com.imooc.spark.SparkSessionApp \
--jars /www/lib/mysql-connector-java-5.1.25.jar  \   
--master local[2]  \
/www/lib/sql-1.0.jar  \
/www/instl/spark/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json

2、该模式操作路径在hdfs上的数据
spark-submit  \
--name SparkSessionApp \
--class com.imooc.spark.SparkSessionApp \
--jars /www/lib/mysql-connector-java-5.1.25.jar  \   
--master local[2]  \
/www/lib/sql-1.0.jar  \
hdfs://hadoop001:8020/inputfile

最低0.47元/天解锁文章