本文详细介绍了Spark的四种运行模式：local、standalone、基于YARN和Mesos。对于standalone模式，讲解了client和cluster模式的区别，包括任务提交、Driver的启动位置和任务执行流程。在YARN模式下，同样对比了client和cluster模式，强调了ApplicationMaster的角色。文章最后提到了不同模式在测试和生产环境中的适用性。
在spark的学习中，spark一共有四种模式，分别是：
spark基于local
spark基于standalone
spark基于yarn
spark基于metsos
- Standalone模式两种提交任务方式
- Standalone-client提交任务方式
- 提交命令
| ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000 |
或者
| ./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100 |
- 执行原理图解
- 执行流程
- client模式提交任务后，会在客户端启动Driver进程。
- Driver会向Master申请启动Application启动的资源。
- 资源申请成功，Driver端将task发送到worker端执行。
- worker将task执行结果返回到Driver端。
- 总结
client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程
最低0.47元/天 解锁文章
扫一扫
3186
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
