Spark二次调用Hive UDF异常问题解决办法

最新推荐文章于 2022-02-23 21:14:26 发布

原创

最新推荐文章于 2022-02-23 21:14:26 发布 · 8.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive #udf

文章详细介绍了在Spark中遇到的针对Hive UDF二次调用时出现的异常问题，该异常源于Spark的一个未修复BUG。作者提供了解决方案，即在启动Spark时通过`--jars`指定UDF JAR包，避免Executor在第二次加载时出现问题。此外，文章还总结了Spark UDF与Hive UDF的区别和集成时可能遇到的坑，包括重载问题、创建冲突和执行选择等。

异常如下：

No handler for UDF/UDAF/UDTF 'com.******.***': java.lang.ClassNotFoundException: com.***; line 1 pos 7
org.apache.spark.sql.AnalysisException: No handler for UDF/UDAF/UDTF 'com.***': java.lang.ClassNotFoundException: com.***; line 1 pos 7

这个异常其实是Spark sql在对hive 自定义udf 二次调用导致的异常的BUG,现在还没修复，受影响的Spark版本包括spark2.3/2.4
详情见这个issue 自定义udf 二次调用导致的异常

我尝试发现是在启动spark 带上 --jars指定udf jar包就不会出现该问题。不带jar包第一次调用executor会从远程下载这个jar 正常执行没出问题，第二次classloader加载时会出问题，具体原因不明，后面再研究。

再总结下Spark UDF与Hive UDF那些小坑：

1.首先 Spak UDF不支持重载，Hive UDF 可以重载。Spark SQL某些内部函数是有重载功能的，比如to_timestamp() 这些是通过FunctionRegistry这个类注册的

最低0.47元/天解锁文章

3 条评论

SmileCat123456 2022.04.13
谢谢博主！我现在遇到了一样的问题。能否请教一下啊[face]emoji:045.png[/face] 我可以注册UDF的： [code=python] create_udf_from_jar = "CREATE OR REPLACE FUNCTION my_func AS 'my_func.Class1' " + \ "USING JAR '{path}/my_func.jar', JAR '{path}/javabuilder.jar'".format(path=path) spark.sql(create_udf_from_jar) spark.sql("SHOW USER FUNCTIONS").show() +---------------+ | function| +---------------+ |default.my_func| +---------------+ [/code] 但是用这个UDF的时候就报错了： [code=python] spark.sql("SELECT my_func(col1) FROM temp_table").show() [/code] ~opt/spark/python/pyspark/sql/utils.py in deco(*a, **kw) 194 # Hide where the exception came from that shows a non-Pythonic 195 # JVM exception message. --> 196 raise converted from None 197 else: 198 raise AnalysisException: No handler for UDF/UDAF/UDTF 'my_func.Class1'; line 1 pos 7 多谢了
- 小老虎诶回复SmileCat123456 2023.11.14
  最后解决了吗？老哥
- SmileCat123456回复SmileCat123456 2022.04.13
  Spark的版本是： [code=python] print(sc.version) 3.3.0-SNAPSHOT [/code] 已经开启了Hive： [code=python] conf.set("spark.sql.catalogImplementation", "hive") [/code]