自定义hive udf函数遇到okhttp3引起的ExceptionInInitializerError

最新推荐文章于 2024-05-24 23:10:08 发布

蘑菇啵啵

最新推荐文章于 2024-05-24 23:10:08 发布

阅读量567

点赞数 5

文章标签： hive java

本文链接：https://blog.youkuaiyun.com/m1913843179/article/details/135633563

版权

文章讨论了在使用自定义HiveUDF时遇到的Okhttp3初始化错误，原因是jar包中的版本冲突。作者提供了通过dependencyanalyzer排除多余版本，并使用maven-shade-plugin重命名okhttp3和okio包以解决Spark环境中的冲突的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题分析

问题：自定义hive udf执行运行udf函数出现错误。主要原因是okhttp3无法进行初始化
在这里插入图片描述
排查问题的思路：okhttp3包冲突或者版本引起的

可能性分析：

jar包中多版本冲突，idea中使用dependency analyzer分析。如果存在多个版本，exclude多余的版本。
运行环境中存在okhttp3冲突，比如我这边出现的主要原因：udf使用spark运行，运行环境中存在okhttp3导致冲突，解决方案：使用maven-shade-plugin将本地引用的okhttp3包重新命名。例如：

             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-shade-plugin</artifactId>
                 <version>3.2.4</version>
                 <configuration>
                     <shadedClassifierName>shaded</shadedClassifierName>
                     <shadedArtifactAttached>true</shadedArtifactAttached>
                     <relocations combine.children="append">
                         <relocation>
                             <pattern>okhttp3</pattern>
                             <shadedPattern>test.okhttp3</shadedPattern>
                         </relocation>
                         <relocation>
                             <pattern>okio</pattern>
                             <shadedPattern>test.okio</shadedPattern>
                         </relocation>
                     </relocations>
                 </configuration>
                 <executions>
                     <execution>
                         <phase>package</phase>
                         <goals>
                             <goal>shade</goal>
                         </goals>
                     </execution>
                 </executions>
             </plugin>