Spark程序提交到集群中

spark-submit 提交任务时，报: Invalid signature file digest for Manifest main attributes
问题来源：使用IDEA将编写好的Spark程序打包成jar包，运行在集群时报错。
解决办法：切换到jar包所在目录，使用如下命令：

zip -d <jar file name>.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 

即: 在Linux下，使用zip命令，将打好包的jar文件中的 META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 文件删掉．再次向集群提交任务，运行正常。故在此备忘，也希望能帮助遇到同样问题的同学。
总结：此类问题应该是针对maven或者sbt等工具打包的jar程序都普遍存在，本方法也同样适用．
参考链接：http://blog.youkuaiyun.com/dai451954706/article/details/50086295