Spark报错NoSuchMethodError或ClassNotFoundException

最新推荐文章于 2023-06-06 16:53:21 发布

原创最新推荐文章于 2023-06-06 16:53:21 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

当通过Spark-submit提交的任务遇到java.lang.NoSuchMethodError或ClassNotFoundException时，问题可能源于jar包冲突。首先检查本地执行是否存在问题，然后通过打印加载类的路径找出实际加载的jar。例如，发现加载的是guava-14.0.1.jar，而自己的jar中是guava-20.0，导致冲突。解决方法是使用shade插件重命名冲突的包。若shade后仍有冲突，需继续查找并处理其他冲突的包。确保避免Spark加载其lib下的jar与提交任务的jar之间的类路径冲突。

通过Spark-submit提交的任务抛出了java.lang.NoSuchMethodError或者ClassNotFoundException

答：首先从自己jar包找原因，看看java -jar直接执行会不会冲突。

如果没有，可能是spark环境里有别的版本的jar，可以加个输出：

System.out.println("----------------------" + this.getClass().getResource("/com/google/common/collect/Sets.class"));

就能看到实际加载的是哪个jar了。

我这次就遇到了：------ jar:file:/data7/yarn/nm/usercache/hdfs/filecache/20/__spark_libs__917155435266718554.zip/guava-14.0.1.jar!/com/google/common/net/HostAndPort.class

我jar里是guava-20.0，因此冲突了

所以要用shade插件的高级功能来解决，把冲突的包名rename：

configuration>

relocations>

relocation>

pattern>com.google.commonpattern>

shadedPattern>facetsdict.com.google.commonshadedPattern>

relocation>

pattern>org.apache.thriftpattern>

shadedPattern>facetsdict.org.apache.thriftshadedPattern>

relocation>

relocations>

configuration>

记住，如果shade之后还有冲突，应该是还存在需要shade的包，找出来。它之所以冲突其实是因为spark会把其lib下的jar优先加载，并且如果已经有同路径同名类则后面再加载你的jar时候就跳过了。所以很多报错很奇怪其实因为这是运行期问题，不是编译期问题，java代码已经编译为了字节码，表面上你即使看反编译的字节码也看不出来的，运行起来才会发现驴唇不对马嘴。