spark整合es所发生的guava的jar包冲突问题

suifengerqu1990

于 2019-03-19 19:00:06 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/zhaoshengli1990/article/details/88669497

博客讲述了在Spark 2.2.3与Elasticsearch集成时遇到的Guava jar包冲突问题，具体表现为NoSuchMethodError。原因是Spark自带的guava-14.0.1.jar与Elasticsearch需要的guava-18.0.jar版本不兼容。解决方法包括尝试设置Spark配置参数，替换Spark中guava的jar包，或者在提交任务时指定额外的类路径和库路径以加载高版本的guava-18.0.jar。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

所报错误为：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor;
at org.elasticsearch.threadpool.ThreadPool.<clinit>(ThreadPool.java:190)
at org.elasticsearch.client.transport.TransportClient$Builder.build(TransportClient.java:133)
准确定位错误的位置为：在抛异常的代码上方添加输出代码（

System.out.println("----------------------" + this.getClass().getResource("/com/google/common/collect/Sets.class"));
System.out.println("============================");
System.out.println("============================");

）可以准确定位是哪个位置的哪个jar包导致项目的jar包冲突。

错误的原因：