解决kafka connect 启动报错 java.lang.NoSuchMethodError: com.google.common.collect.Sets$SetView.iterator()

最新推荐文章于 2024-04-01 18:59:57 发布

吃鱼的羊

最新推荐文章于 2024-04-01 18:59:57 发布

阅读量5.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Kafka

原文链接：https://blog.youkuaiyun.com/qq_15944941/article/details/84385809

Kafka 专栏收录该内容

20 篇文章

订阅专栏

本文详细解析了Kafka Connect启动时遇到的java.lang.NoSuchMethodError错误，主要原因是CLASSPATH中Guava版本过低。文章提供了两种解决方案：一是逐个替换Hadoop classpath中的低版本Guava；二是通过unset CLASSPATH彻底避免版本冲突。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错
./bin/connect-distributed.sh ./config/connect-distributed.properties
1
./bin/connect-standalone.sh ./bin/connect-standalone.sh ./config/connect-file-source.properties ./config/connect-file-sink.properties
1
[2018-11-23 12:40:21,101] ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed:117)
java.lang.NoSuchMethodError: com.google.common.collect.Sets$SetView.iterator()Lcom/google/common/collect/UnmodifiableIterator;
at org.reflections.Reflections.expandSuperTypes(Reflections.java:380)
at org.reflections.Reflections.<init>(Reflections.java:126)
at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader$InternalReflections.<init>(DelegatingClassLoader.java:410)
at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanPluginPath(DelegatingClassLoader.java:310)
at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanUrlsAndAddPlugins(DelegatingClassLoader.java:244)
at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.initPluginLoader(DelegatingClassLoader.java:192)
at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.initLoaders(DelegatingClassLoader.java:185)
at org.apache.kafka.connect.runtime.isolation.Plugins.<init>(Plugins.java:61)
at org.apache.kafka.connect.cli.ConnectDistributed.main(ConnectDistributed.java:74)

解决
根本原因是CLASSPATH中首先找到的guava版本比较低。

直接原因是本机上之前配过了hadoop 环境，首先找到的是hadoop classpath 中包含有比较低版本的guava jar包，从而找到的不是kafka libs下自带的guava，如果手动一个一个地去把hadoop classpath中的guava去掉或者换成高版本的(guava-20.0.jar以上)，然后还会报java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties() 等错误，也是一样的原因，hadoop classpath中相关的包版本过低，还得一个有一个去解决。

一步到位的方法是，unset CLASSPATH ，注意这样做之后，如果要搭建其他组件的时候 CLASSPATH 记得需要再配一下。