pop_xiaohao的专栏

背景：Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

spark是什么？spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。它给出了大一统的软件开发栈，适用于不同场合的分布式场景，如批处理、迭代算法、交互式查询、流处理、机器学习和图计算。spark组件图1 spark软件栈SparkSQL：提供了类sql方式操作结构化半结构化数据。SparkStreaming：提供了近乎实时的流式数据处理，与stor...

Deploying 部署提交应用spark home的bin目录下有个spark-submit脚本是用来在集群模式下启动应用的。通过统一的接口方式可用于所有spark支持的集群管理器，而不需要特别为每种进行格外的配置。打包应用的依赖如果你的代码依赖于其它项目，你需要和你的应用打包在一起，以便于分发代码到集群中。对于python应用，可以使用spark-submit的 --py-files参...