Error:"MetaStoreClient lost connection. Attempting to reconnect (1 of 24) after 5s. getCurrentNotifi...

最新推荐文章于 2024-05-12 20:35:27 发布
最新推荐文章于 2024-05-12 20:35:27 发布
阅读量4.6k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/felixzh/p/10792047.html
博客详细记录了在使用Hive时遇到的MetaStoreClient连接丢失的问题，以及尝试重新连接的错误日志。内容涉及到HiveMetaStoreClient的内部错误，如get_current_notificationEventId方法调用失败，以及授权问题。讨论了可能的解决方案，包括检查配置和权限设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SupportKB
Problem Description:
After upgrading to HDP 3.0, the HiveServer2 fails to start and the following error is displayed in the HiveServer2 logs:
  1. WARN [main]: metastore.RetryingMetaStoreClient (:()) -
  2. MetaStoreClient lost connection. Attempting to reconnect (1 of 24) after 5s. getCurrentNotificationEventId
  3. org.apache.thrift.TApplicationException: Internal error processing get_current_notificationEventId
  4. at org.apache.thrift.TApplicationException.read(TApplicationException.java:111)
  5. ~[hive-exec-3.1.0.3.0.0.0-1634.jar:3.1.0.3.0.0.0-1634]
  6. at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:79)
  7. ~[hive-exec-3.1.0.3.0.0.0-1634.jar:3.1.0.3.0.0.0-1634]
  8. at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_get_current_notificationEventId
  9. (ThriftHiveMetastore.java:5575) ~[hive-exec-3.1.0.3.0.0.0-1634.jar:3.1.0.3.0.0.0-1634]
  10. at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.get_current_notificationEventId
  11. (ThriftHiveMetastore.java:5563) ~[hive-exec-3.1.0.3.0.0.0-1634.jar:3.1.0.3.0.0.0-1634]
  12. at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getCurrentNotificationEventId
  13. (HiveMetaStoreClient.java:2723) ~[hive-exec-3.1.0.3.0.0.0-1634.jar:3.1.0.3.0.0.0-1634]
  14. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_112]
  15. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_112]
  16. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_112]
  17. at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_112]
  18. at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:212)
  19. ~[hive-exec-3.1.0.3.0.0.
最低0.47元/天 解锁文章

200万优质内容无限畅学
出现 Error attempting to get column ‘xxx‘ from result set. Cause: java.sql.SQLException: 无法转换为内部表示（全）
码农研究僧的博客
03-09 4450
相应的基本知识补充推荐阅读： 详细分析Java中的分布式任务调度框架 XXL-Job java框架 零基础从入门到精通的学习路线 附开源项目面经等（超全）
Error attempting to get column ‘sendTime‘ from result set. Cause: java.sql.SQLException: Error
qq_58341172的博客
04-25 603
【代码】Error attempting to get column ‘sendTime‘ from result set. Cause: java.sql.SQLException: Error。
【启动hiveserver2 报错 MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s】
L3488163662的博客
05-12 1341
最后重新启动hadoop集群，使做的修改生效。
MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. getCurrentNotificatio
彪叔的博客
06-29 7669
2021-06-29T16:59:35,856 DEBUG [pool-7-thread-1] ipc.ProtobufRpcEngine: Call: mkdirs took 4ms 2021-06-29T16:59:35,856 INFO [pool-7-thread-1] session.SessionState: Created HDFS directory: /tmp/hive/hive/9b2f06f4-3ed2-4f0d-8f73-c81ec7970bb8/_tmp_space.db 202
hive分区数过多报错
鸭梨的博客
08-04 1032
Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node,
hive 动态分区太多问题
weixin_33965305的博客
10-27 577
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark连接Hive的metastore异常
Mrerlou的博客
05-17 739
不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.had...
spark几万个分区表无法执行
a11a2233445566的专栏
01-18 1545
步骤1：进行hive,创建分区表 create table partition_test (member_id string, name string ) partitioned by ( stat_date string, province string) row format delimited fields terminated by ','; 步骤2： 生成分区，
Hive以及Hive分区的那些事
有个程序员的博客
04-08 505
1.Hive 基本概念 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类似SQL的查询功能 使用HQL作为查询接口 使用HDFS存储 使用MapReduce计算 2. Hive的优缺点 优点: 减少开发人员的学习成本 可以和impala/spark等共享数据 支持UDF,自定义存储格式 非常适合离线数据处理 缺点: Hive实时性差 Hive效率...
解决Hive创建文件数过多的问题
Mr.pan felix的专栏
07-19 971
一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job 解决办法： 最简单的解决办法就是调大hive.exec.max.created.files参数
使用hive3.x 问题记录
sx157559322的博客
07-08 4476
使用 hive3.1.2 问题记录 搭建步骤省略 ... 一、HIVE ON MR 1、第二次以上插入值 insert into table tablename values("xx")； 出现错误: 1)、metastore.RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatistics org.apache.t
Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde
javaMylife的博客
10-13 1053
Hive 3.1.2版本会有这个bug，3.2.0好像就已经修复了 MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde set hive.stats.autogather=false; 然后再建表
问题分析报告--Hive表列属性更新慢并偶尔更新失败
点点滴滴一世界
11-06 4900
问题分析报告--Hive表列属性更新慢并偶尔更新失败 1、问题描述 1.1 基本信息[Basic Information] 集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12hadoop社区版本：**商业版本：FusionInsight_HD_V100R002C30LCN001SPC005MetaStore：高斯数据库（Post
Spark对HiveMetastore客户端的多版本管理、兼容性探究以及栅栏实现
小昌昌的博客
07-14 6686
文章目录前言详述对Hive的基本调研对Hive In Spark的兼容性探究的起因升级以后的Spark能否正常工作？通过Shims来增量支持高版本的Hive 的接口变化Spark对Hive版本支持的灵活配置以loadDynamicPartitioins方法来了解ShimsSpark用户的正确使用姿势：通过自定义ClassLoader实现多版本的hive client共存结论 前言 我们在对Hive...
hive 常见问题汇总
cxy1991xm的博客
06-29 1482
1、hive的HiveMetaStore或者HiveServer2服务进程正常，但却不能提供相应服务 原因：堆内存不足 解决方案：在hive-env.sh中调整堆内存大小
Hive笔记-001架构概述
cihuan7433的博客
11-30 310
因项目使用到Hive,在工作中阅读了许多文章和书籍,特此将笔记和自己的理解记录下来. 1.概述 Hive是最合适数据仓库应用程序的，其可以维护海量数据，而且可以对数据进行挖掘，然后形成意见和报告等。下图即是Hive与Hadoop交互的架构图： Hive的发行版本中附带的...
Bing AI 正在尝试重新连接... / Attempting to reconnect... 的解决办法
懒得写
12-19 7002
这个问题主要是Bing地区封锁升级导致的，主要有两种可能的原因，一是VPN代理不是全局，二是微软账号地区无AI服务。文中将详细介绍解决方法。
Socket error Event: 32 Error: 10053. Connection closing...Socket close.pycharm
最新发布
02-28
### 解决 PyCharm 中 Socket 错误 10053 (WSAECONNABORTED) 当遇到Socket错误10053(WSAECONNABORTED)，表示连接已被远程主机强迫关闭[^1]。此问题可能由多种因素引起，包括但不限于防火墙阻止、网络不稳定或服务器端主动断开。 为了处理该异常情况并增强程序健壮性，在编写客户端和服务端通信逻辑时应考虑加入重试机制以及更完善的错误捕捉： 对于Python中的socket编程部分可以做如下改进措施来应对上述提到的情况之一——即服务端突然终止连接的情形: ```python import socket def create_socket(): try: s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) host = 'localhost' port = 12345 s.connect((host, port)) return s except socket.error as e: print(f"Error creating socket: {e}") raise def send_receive_data(s): while True: try: message = input('Enter your message:') if not message.lower().strip() == 'exit': s.sendall(message.encode()) data = s.recv(1024).decode() print(f'Received from server :{data}') else: break except socket.error as msg: print(f'Socket error occurred:{msg}. Attempting to reconnect...') s.close() new_s = create_socket() if isinstance(new_s, socket.socket): s = new_s continue else: print("Failed to reconnect.") break ``` 通过这种方式可以在检测到连接意外中断后尝试重新建立连接而不是直接抛出未捕获的异常结束整个应用程序流程。此外还应该注意检查本地环境配置是否合理，比如确认防火墙设置允许必要的端口通讯；确保所使用的库版本兼容当前操作系统平台等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值