Spark3报错: hive.ql.metadata.HiveException: Unable to fetch table Invalid method name: get_table_req

在尝试使用Spark 3.0.0-preview2版本时,遇到HiveException:Unable to fetch table,错误源于get_table_req方法在该版本中未找到。问题出在Spark版本与Hive版本的不匹配,Spark依赖的Hive版本不包含此方法。解决方案是手动构建Spark发行版包,指定Hive版本为与源码兼容的版本。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark3报错: hive.ql.metadata.HiveException: Unable to fetch table Invalid method name: ‘get_table_req’

  • 环境
    • hive版本1.1.0-cdh-5.10
    • scala版本2.11.11
    • hadoop版本2.6.0

我之前用的是spark2.4.4的发行版的包,现在想切换成spark3.0版本包。
调用spark.sql("select * from xxxDbname.xxtable")便会出现下面的错误。
报错截图如下:
在这里插入图片描述
这里我用的spark的包是spark官网上的
spark-3.0.0-preview2
这个版本,它打包的hive版本是2.3.6
而我所用的hive版本是1.1.0
所以会报出上述错误,相关的错误原因我已经在源码上面查看到了

错误详情:
github上面直接

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值