【flink】flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突

lisacumt

于 2024-03-19 16:05:07 发布

阅读量688

点赞数 3

CC 4.0 BY-SA版权

文章标签： flink jar hdfs

本文链接：https://blog.youkuaiyun.com/lisacumt/article/details/136845836

本文描述了在使用Flink运行应用程序时遇到的类冲突问题，源于Phoenix-5.0.0-cdh6.2.0-client.jar与HBase库中的jar版本不兼容，导致MetaDataProtos服务找不到方法。解决方案涉及检查YARN提供的lib目录设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flink jar异常，类冲突可能原因：

报错如下

java.sql.SQLException: ERROR 2006 (INT08): Incompatible jars detected between client and server. Ensure that phoenix-[version]-server.jar is put on the classpath of HBase in every region server: Can't find method newStub in org.apache.phoenix.coprocessor.generated.MetaDataProtos$MetaDataService!
Caused by: java.lang.NoSuchMethodException: org.apache.phoenix.coprocessor.generated.MetaDataProtos$MetaDataService.newStub(com.google.protobuf.RpcChannel)

phoenix-5.0.0-cdh6.2.0-client.jar 和 hdfs 上的hdfs:///flink/lib/ jar冲突了，注意即使jar一模一样也不行。

原因

flink run-application -t yarn-application -d -c com.xx.process \
-C file:///xxx/phoenix-5.0.0-cdh6.2.0-client.jar \
-Dyarn.provided.lib.dirs=hdfs:///flink/lib/ \
**.jar