u013231037的博客

原创 Spark计算结果落入driver端所在机器本地磁盘

背景：工作中遇到政府项目，需要每小时、每天、每月调用政府指定接口上传数据。运维方面因为特殊原因只能开通指定服务器到政府接口的权限。 因为集群环境限制，只能将Spark任务计算的数据落到固定机器上，并在该机器进行接口调用上传数据。 我们要部署Spark这套计算框架，有多种方式，可以部署到一台计算机，也可以是多台(cluster)。 Spark部署方式可以用如下图形展示： 那么在此次项目中几种模式如何选择： Local模式 Local模式就是运行在一台计算机上的模式。它可以通过以下集中方式设置m