本文详细介绍了如何在YARN集群上构建和运行PySpark Application，包括client模式和cluster模式的区别，以及如何处理PySpark的Python环境。在client模式下，Driver在提交节点运行，而cluster模式下所有进程都在YARN节点上。文章提供了在YARN集群配置Python环境和不配置Python环境的两种方案，并探讨了混合编程语言环境下的应用设计。对于大规模的PySpark应用，建议在整个集群中安装Python环境，而对于不希望在集群中安装Python环境的情况，可以通过打包Python环境并随应用提交。文章还提到了未来可能的优化解决方案。
作者：Yanjun
Spark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc程序，可以运行HBase集群，也可以运行Storm集群，还可以运行使用Python开发机器学习应用程序，等等。
我们知道，Spark on YARN又分为client模式和cluster模式：在client模式下，Spark Application运行的Driver会在提交程序的节点上，而该节点可能是YARN集群内部节点，也可能不是，一般来说提交Spark Application的客户端节点不是YARN集群内部的节点，那么在客户端节点上可以根据自己的需要安装各种需要的软件和环境，以支撑Spark Application正常运行。在cluster模式下，Spark Application运行时的所有进程都在YARN集群的NodeManager节点上，而且具体在哪些NodeManager上运行是由YARN的调度策略所决定的。
对比这两种模式，最关键的是Spark Application运行时Driver所在的节点不同，而且，如果想要对Driver所在节点的运行环境进行配置，区别很大，但这对于PySpark Application运行来说是非常关键的。
PySpark是Spark为使用Python程序编写Spark Application而实现的客户端库，通过PySpark也可以编写Spark Application并在Spark集群上运行。Python具有非常丰富的科学计算、机器学习处理库，如numpy、pandas、scipy等等。为了能够充分利用这些高效的Python模块，很多机器学习程序都会使用Python实现，同时也希望
最低0.47元/天 解锁文章
扫一扫
938
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
