Matthewhou的专栏

pdsh：在指定的机器上执行同一个命令。 pdcp：将文件拷贝到一组机器上。 安装Yarn的时候，经常改完在某个机器上改完一个配置文件，然后依次复制到其他机器。这种情况下，用pdsh、pdcp方便多了。

总结性地说，Yarn-cluster模式提交作业后，可关掉client，适合生产环境；Yarn-client适合交互式的，开发环境。 本质上，对Spark on Yarn集群，是Spark Driver在哪里运行、谁进行调度的区别。 Yarn-cluster模式，Spark Driver运行在Application Master所在的机器上，因此该机器一定是集群中某个节点；Applic

在Spark on Yarn集群上运行Spark jar包，结果报错： container *** is running beyond virtual memory limits…… 问题分析： yarn-site.xml 中关于资源的配置有问题。 yarn.nodemanager.resource.memory-mb = 3072，默认8192 yarn.scheduler