Spark3报错: hive.ql.metadata.HiveException: Unable to fetch table Invalid method name: get_table_req

最新推荐文章于 2023-07-07 16:22:38 发布
最新推荐文章于 2023-07-07 16:22:38 发布
阅读量8.5k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： [spark源码分析] 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OldDirverHelpMe/article/details/105325439
在尝试使用Spark 3.0.0-preview2版本时，遇到HiveException：Unable to fetch table，错误源于get_table_req方法在该版本中未找到。问题出在Spark版本与Hive版本的不匹配，Spark依赖的Hive版本不包含此方法。解决方案是手动构建Spark发行版包，指定Hive版本为与源码兼容的版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark3报错: hive.ql.metadata.HiveException: Unable to fetch table Invalid method name: ‘get_table_req’

  • 环境
    • hive版本1.1.0-cdh-5.10
    • scala版本2.11.11
    • hadoop版本2.6.0

我之前用的是spark的2.4.4的发行版的包，现在想切换成spark3.0版本包。
调用spark.sql("select * from xxxDbname.xxtable")便会出现下面的错误。
报错截图如下:
在这里插入图片描述
这里我用的spark的包是spark官网上的
spark-3.0.0-preview2
这个版本，它打包的hive版本是2.3.6
而我所用的hive版本是1.1.0
所以会报出上述错误，相关的错误原因我已经在源码上面查看到了

错误详情:
去github上面直接

最低0.47元/天 解锁文章

200万优质内容无限畅学
解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；
m0_64634260的博客
08-09 1263
轻松解决 idea中搭建spark环境报错：Unable to fetch table student. Invalid method name: 'get_table_req';
无hadoop环境 部署Kylin4 迁移元数据
xbing的博客
11-18 1300
正式环境为CDH + KYLIN 2.3 , 本文在测试环境（无CDH hadoop）部署kylin4，访问正式环境的hadoop数仓进行cube构建，参考了官网的部署经验，但是官网是针对AWS ，且有些文件未配置情况下会报错，在此重新总结。
spark-sql 查询报错：Invalid method name: ‘get_table_req‘
ChengYanan的博客
09-18 3901
spark-sql> select * from zps_d001 limit 1; Error in query: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table zps_xxx. Invalid method name: 'get_table_req' org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.H
hive Unable to fetch table/MetaException(message:java.lang.NullPointerException)
a123147abc的博客
11-29 2712
@[TOC](hive Unable to fetch table/MetaException(message:java.lang.NullPointerException)) 现象：无法 操作表 原因可能如下： 1、hive 元数据有异常 （常见是此种情况） 解决方法： 1、查询对应库下的表 select TBL_ID from yz_dev_hive.TBLS where TBL_NAME ='dwd_fpf_anc_file_info' and DB_ID = (select DB_ID from
hive Error SemanticException Unable to fetch table
王木头的博客
04-10 1432
而同库内其他表，其他库的表，均可以正常查询。hive的mysql元数据表内存在脏数据导致。问题发生的原因还没找到。
hive删除表错误：FAILED: SemanticException Unable to fetch table user_info. For direct MetaStore DB connect
大数据技术杂谈
07-18 8987
今天再配置hive与mysql的时候 创建表可以完美运行，但是在删除的时候出现了一下错误 hive> show tables     > ; OK test Time taken: 0.403 seconds, Fetched: 1 row(s)  hive> drop table test; FAILED: Execution Error, return code 1 from org.apa
DBSPI40-1: Unable to fetch data from table 'V$SYSSTAT' [ORA-03135: connection lost contact]
changyanmanman的专栏
02-09 2254
先看一下oracle错误ORA-03135: connection lost contact 今晚遇到这个错误，给王工打电话，让我忽略，我之前以为是连接不到数据库了呢。。好吧，我明天把它整理出来。 由于该错误只在夜间主库做备份的时候发生,加上带宽因素,起先没有考虑处理问题.但在查看了日志里收藏的其他两篇文章后,发现该问题即使对异地standby也是有可能解决的.文中提到在standby的s
sqoop导入之从mysql导入到hive中之'get_table_req'无法获取
qq_41387313的博客
03-23 654
这里先去查看Hive Metastore Server看看报错日志，提示 然后去看HiveServer2 看报错日志，提示 出现这个之后禁用SSL 上面的也禁用SSL 然后初始化Metastore Server 这个元数据库 初始化命令我给忘了。 在配置文件里面添加 <property> <name>datanucleus.schema.autoCreateAl...
解决Hive安装错误：无法实例化SessionHiveMetaStore的RuntimeException问题
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
04-25 3849
解决Hive安装错误：无法实例化SessionHiveMetaStore的RuntimeException问题
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
今天在使用Hadoop集群上的Hive时，结果出现了以下的情况。 hive (default)> show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 通过控制台的异常信息我们可以知道Hive的metadata服务未开启导致的。 解决方案:   
启动hive可以正常启动，但是创建表，显示表都出现错误FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveExceptio
sxj的专栏
01-02 3473
1、当创建表示出现错误信息如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/src/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLogge...
解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
想练武，就得下功夫
05-23 7306
老大让启动一下hive，结果报错了，想办法解决，经过不懈努力，终于搞定了 hive> show databases; FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient hive> 出现这个问题的原因： 在 hive-site.xml文件中配置了三个参数所引起的 hive.tx
调用thrift报错：Invalid method name：‘XXXX’
qq_40565735的博客
08-13 2940
使用thrift过程中失败，返回 Invalid method name 错误。网上查找资料，大致分为以下几点： 1、调用服务的IP、端口是否正确； 2、客户端调用的远程方法，服务端并未暴露出来，详见Thrift常见异常及原因分析； 3、使用的传输层不一致导致的，客户端使用 TBufferedTransport ，服务端使用 TFramedTransport。 在判断上述无误后，找到问题：TMultiplexedProtocol 构造函数的服务名与实际类服务名不一致，EquipInfoRAoClient 类
CentOS 7 搭建 Impala 4.1.2 + Kudu 1.15.0 测试环境
一只努力的微服务
07-07 1549
通过 Web 页面看一下 Kudu，地址为：http://127.0.0.1:8051。打开：http://127.0.0.1:25000/backends。打开：http://127.0.0.1:25020/catalog。打开：http://127.0.0.1:25010/metrics。下载 java 安装包，需要登录 oracle，请自行下载。这部分不过于详细介绍，如果有现成环境也可以直接拿来使用。编译完成后，自行打的 RPM 包进行安装。至此，所有的安装验证就完成了。
python通过thrift访问HBase报错Invalid method name
鸣宇淳的专栏
05-30 3764
出现的问题 在准备用python的happybase包通过thrift连接HBase，运行脚本的时候报错，报错大体如下： thrift.Thrift.TApplicationException: Invalid method name:'getTableNames' 代码如下： # -*- coding: utf-8 -*- import happybase def demo_hbase...
org.apache.hadoop.hive.ql.metadata.HiveException原因
sinat_36572927的博客
10-11 6450
当在一个session中启动spark后，又开启了一个session，会报上面的错误，因为spark默认的元数据存储在derby，derby是单session的。
Hive 事务表(ACID)问题梳理
optimus
07-19 6190
问题描述 工作中需要使用pyspark读取Hive中的数据，但是发现可以获取metastore，外部表的数据可以读取，内部表数据有些表报错信息是： AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table tb_name. Your client does not appear to support insert-only tables. To skip capability che
hive执行删除表操作报错
元气满满的小白
03-18 1550
在hive执行drop table table_name时报下错SemanticException Unable to fetch table movie. For direct MetaStore DB connections, we don't support retries at the client level. 报错原因： hive是基于mysql的数据库，需要连接mysql，由于m...
spark整合hive报错：unable to instantiate org.apache.hadoop.hive.ql.metadata....
03-16
这个错误可能是由于以下原因导致的： 1. Spark和Hive版本不兼容。请确保Spark和Hive的版本匹配。 2. 缺少必要的Hive依赖项。请检查您的Spark配置，确保所有必要的Hive依赖项都已正确设置。 3. 您的Spark配置中可能存在错误。请检查您的Spark配置文件，确保所有配置都正确设置。 4. 您的Hive元数据存储可能已损坏。请尝试重新创建Hive元数据存储并重新启动Hive服务。 如果您无法解决此问题，请提供更多详细信息，以便我们更好地帮助您解决问题。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值