【Spark五十七】Spark on Yarn重复提交spark-assembly-1.2.0-hadoop2.4.0

在Spark on Yarn的部署模式中，每次提交application，都会往HDFS中存放一个spark的二进制包，这一方面影响性能，另一方面占用HDFS的存储空间，

可以在spark-default.conf文件中添加如下配置，将spark的二进制包告诉Spark，已经上传

 

spark.yarn.jar hdfs://hadoop.master:8020/spark_lib_jars/spark-assembly-1.2.0-hadoop2.4.0

 

在运行spark程序前，需要将spark的jar文件上传至HDFS中

 

 

这个设置解决了在http://bit1129.iteye.com/blog/2174677中测试yarn client和yarn cluster两种方式提交作业时，spaspark jar提交了两次

 

参考：http://www.cnblogs.com/luogankun/p/4191796.html