本文介绍了一种在Idea中使用Java编写Spark应用程序时遇到的问题：在服务器上使用spark-submit提交任务时出现java.lang.ClassNotFoundException和java.lang.SecurityException错误。通过删除生成的jar包中的特定文件解决了此问题。
在idea中用java写spark应用，在服务器上spark-submit提交任务一直报错，在两个不同的spark集群上分别报错java.lang.ClassNotFoundException 和java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
检查了依赖包没有冲突，入口class也按照“packageName.className”写的。最后找到原因，在生成jar包后删除掉META-INF下的几个.SF/.DSA/.RSA文件后再提交，运行正常。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
