spark运行模式全解析

关注

原创最新推荐文章于 2026-07-08 14:05:31 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

Spark基础全解析 SPARK全解析标签（空格分隔）： Spark SPARK全解析 Spark是什么？ Spark 源码编译 Spark本地模式安装配置及Spark Shell基本使用 Spark集群 Spark Application开发、运行及监控（IDEA） Spark 日志监控（HistoryServer）配置 Spark RDD Spark共享变量 Spark 内核 Spark 依赖 Spa... 阅读详情

1.local 本地模式：不需要hadoop（除非用到），不需要启动Master，Worker
spark-shell（spark-shell –master local[n]）
spark-submit （spark-submit –master local[n]）

2.local cluster 模式：不需要hadoop（除非用到），不需要启动Master，Worker
spark-submit –master local-cluster[x,y,z]
x ：executor 数量 ,y：每个executor核数，z：每个executor内存

3.standalone 模式：spark自带clusterManager的方式（不需要hadoop（除非用到））
①启动Master，Worker
spark-submit –master spark://wl1:7077 –deploy-mode client
4.standalone 模式：spark自带clusterManager的方式（不需要hadoop（除非用到））
①启动Master，Worker
spark-submit –master spark://wl1:6066 –deploy-mode cluster

5.基于yarn的client模式，无需启动Master,Worker，需要启动Hadoop
基于yarn的模式，不需要启动Master，Worker，yarn充当cluster Manager
spark-submit –master yarn –deploy-mode client

6.基于yarn的cluster模式，无需启动Master，Workder，需要启动Hadoop
spark-submit –master yarn –deploy-mode cluster

收录于