Spark on Yarn

qq_24990561

于 2019-03-30 22:11:48 发布

阅读量166

点赞数

分类专栏：技术解决问题文章标签： Spark

本文链接：https://blog.youkuaiyun.com/qq_24990561/article/details/88920168

版权

技术同时被 2 个专栏收录

41 篇文章

订阅专栏

解决问题

15 篇文章

订阅专栏

本文介绍了Spark on Yarn的两种部署模式：集群模式和客户端模式，并详细阐述了它们之间的区别及工作流程。集群模式下，SparkDriver运行于受YARN管理的applicationmaster进程中，启动后客户端可关闭；客户端模式则使SparkDriver运行于客户端进程中，仅通过应用master向YARN申请资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark on Yarn 两种方式的区别及工作流程
cluster mode: Spark Driver runs inside an application master process
managed by YARN on the master启动spark 应用程序后客户端可以关掉
集群模式：Spark Driver运行在application master 进程中，而这个进程在集群中受YARN的管理
启动应用程序后，客户端可以关闭

例如：在idea开发完业务代码，打包到服务器上

./bin/spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
–deploy-mode cluster
–driver-memory 4g
–executor-memory 2g
–executor-cores 1
–queue thequeue
examples/jars/spark-examples*.jar
10

client mode: driver runs in the client 进程中，应用master 仅仅是向YARN 申请资源
./bin/spark-shell --master yarn --deploy-mode client

添加其它的jars

 ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar \
    my-main-jar.jar \
    app_arg1 app_arg2 // 参数在外面传进来