unable to read hiveserver2 config from zookeeper

已于 2025-02-24 17:21:29 修改
阅读量1.3k 收藏 17
点赞数 21
分类专栏： Hive线上问题处理方案 文章标签： zookeeper 分布式 云原生 数据库 hadoop hive 大数据
于 2025-02-01 16:03:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_57874805/article/details/145413069
版权

 #Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结

说明：此篇总结hive常见故障案例处理方案 结合自身经历 总结不易 +关注 +收藏 欢迎留言

unable to read hiveserver2 config from zookeeper 问题解决方案 请往下翻  多谢！！！

更多Hive案例汇总方案 (点击跳转) ：

Hive常见故障多案例FAQ --项目总结(宝典一)

Hive常见故障多案例FAQ--项目总结(宝典二)

目录内容如下：

架构概述

【1】参数及配置类常见故障

【2】任务运行类常见故障

    ......

unable to read hiveserver2 config from zookeeper

症状

无法读取"Hiveserver2 uri from ZooKeeper",
如下：Exception in thread "main" java.sql.SQLException: org.apache.hive.jdbc.ZooKeeperHiveClientException: 
Unable to read HiveServer2 configs from ZooKeeper

原因

这是hive一个常见错误，报错原因多方面，根据以下原因排查。

客户端连接hiveserver时，hiveserver的地址是从ZooKeeper中自动获取，当ZooKeeper连接认证异常时，无法从ZooKeeper中获取正确的hiveserver地址。

在连接zookeeper认证时，需要客户端传入krb5.conf，principal，keytab等相关信息。认证失败有如下几种：

  • user.keytab路径写错。

  • user.principal写错。

  • 集群做过切换域名操作但客户端拼接url时使用旧的principal。

  • 有防火墙相关设置，导致客户端本身无法通过kerberos认证，Kerberos需要开放的端口。

解决方法

  1. 确保用户可以正常读取客户端结点相关路径下的user.keytab文件。

  2. 确保使用的用户的user.principal与指定的keytab文件是对应的。

    可通过klist -kt keytabpath/user.keytab查看。

  3. 如果集群有做过切换域名操作，需要保证url中使用的principal字段是新域名。

    如默认为hive/hadoop.hadoop.com@HADOOP.COM，当集群有切换域名的操作时，该字段需要进行相关修改。如域名为xx.com时，则此处应填写hive/hadoop.xx.com@ABC.COM。

  4. 要确保可以正常的认证可连接hiveserver。

最后

谢谢大家 @500佰

java 通过zookeeper连接hiveserver2报错：org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read Hi
QYmufeng的博客
06-02 1万+
环境： hive驱动版本：1.2.1 通过以下连接方式，通过hiveserver2 urljdbc:hive2://prddn01.com:10000/;principal=hive/prddn01.com@SC.COM 连接hiveserver2完全正确，但是换成zookeeper url就报错： package com.asiainfo; import java.io.IOException; import java.sql.Connection; import java.sql.Drive..
Unhandled exception: Unable to determine ZooKeeper ensemble
zlpzlr的博客
02-01 951
zookeeper、hbase开启并正常 但是运行报错 17/04/24 20:13:23 ERROR master.HMaster: Region server icosa4,60020,1493045002304 reported a fatal error: ABORTING region server icosa4,60020,1493045002304: Unhandled exce
Unable to read HiveServer2 configs from ZooKeeper
u012667450的博客
11-18 1万+
Unable to read HiveServer2 configs from ZooKeeper 问题描述 在HDP集群开启kerberos后，在连接Hive时报错： Unable to read HiveServer2 configs from ZooKeeper 产生原因 原因可能很多，说不完，道不尽。 但是，如果zookeeper是正常启动的话，归根结底，就一个： Hive的连接串中参数不对！！！ 可能的情况有： 没有加keytab文件 没有加krb5.conf文件 principal拼错了
Hive执行set命令的时候报cannot modify xxx at runtime
编程技术、独立开发、技术资讯以及编程感悟等内容
01-29 696
Hive执行set命令的时候报cannot modify xxx at runtime
Accessing Hive using Java JDBC Issue -Unable to read HiveServer2 uri from ZooKeeper
rainysia的专栏
03-04 9314
启动Hadoop后, 发现hive 一直启动不起来, HIVE 3.1, driver是mysql 5.6 测试了下mysql链接, 配置了 hive-site.xml 里面的mysql Password, 并且开通了mysql远程链接. 进入到mysql后发现没有hive的相关DB. 这下就好办了. 初始化下schema cd /usr/hdp/3.1.0.0-78/hive/bin ...
hive中的join
chw65897的博客
03-27 3036
1.1.JOIN语句 HIVE 支持通常的SQL JOIN语句,但是只支持等值连接;hive目前还不支持在ON 子句中使用OR； 1.1.1.INNER JOIN 内连接(INNER JOIN),只有进行连接的两个表中都存在与连接标准相匹配的数据才会被保留下来。 eg： SELECT A.FIELDS, B.FIELDS FROM TABLE_A A JOIN TBALE_B B ON A.KEY = B.KEY --这个例子中，只有A表和B表的交集才会被保留下来； 1.1.2.LEFT O
hive中的with…as
weixin_45571326的博客
05-15 1421
with…as 子查询部分。就是查询出一部分数据保存在一个临时表temp表中 使用 最普通的嵌套查询部分 select * from table_b where id in (select id from table_a where Name like 'C%') 这时候进行优化，如果嵌套过多的话，就很难阅读，建议使用变量来解决这个问题 declare @t table(id nvarchar(3)) insert into @t(id) (select id from table_
hiveserver2高可用机制解析
u010845306的专栏
11-26 3195
文章目录hiveserver2 ha-zk机制(hive-1.1版本)1.服务端:1.1 hiveserve2 mainClass 启动流程1.2根据启动命令行获取具体服务1.3 初始化server.init(conf) 启动过程设置钩子任务1.4 服务退出 hiveServer2.stop(), 移除服务信息2.客户端连接过程(JDBC):2.1 获取hiveserver2连接2.2 Driv...
zookeeper节点故障之Unable to load database on disk
俩只猴的博客
05-10 845
前言 今天在使用自己搭建的虚拟机测试时，发现3台zookeeper中有一台起不来，具体情况如下： 故障节点 $ZK_HOME/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 但是jps查看进程的时候没有，其他2台是正常的。 查看zk的日志发现： 2021-
zookeeper 集群重启之后无法使用
After 95
03-31 3618
解决zookeeper集群重启后报错的问题： 2017-03-31 10:14:21,067 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@1098] - Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attemptin
Jdbc访问hive
zeng6325998的博客
06-20 2628
JDBC访问注意点 如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是版本导致的） 1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上 2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下版本使其和服务器一致 1、hiveserver、hiveserver2 的区别 两者都允许远程客户端使用多
Hive解决SQL的join or
妙妙的博客
08-02 2万+
在处理数据时，遇到join on的条件有多个，然而hive不支持on or，因此问了度娘，找了google才发现这东西还涉及hive优化，吭哧了一下午终于弄出来，心情豁然开朗，希望本文能帮到遇到难题的你们。 我的一个表是有关电话号码的，另一个表是解析这个电话号码的，分析号码的省，市，服务商，手机号就取前7位获得省市服务商，固话就取前3/4位，所以问题就来了，join 后面的条件有多个，要是sql是
Hive 中 with as 用法
mbb00的博客
08-13 849
with as：也叫子查询，先通过with语法将数据查询到内存，后面其它查询可以直接使用，不仅提高了查询性能，同时也提高了代码的可读性。1.前面每个as里都相当于一个子查询，可以看作一个独立模块，最后select则是整体查询，也是最终展示的查询结果。3.多个子句之间使用逗号分隔即可，最后一个子句与后面的查询语句不需要在添加逗号。2.with 子句必须在select之前定义。
Hive中with/with as 的用法
Cxf2018的博客
10-27 2855
1.with as 是什么 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集和,作用与视图或临时表类似。 2.用法 ① 完整格式 with q1 as ( select key from src where key = '5') select * from q1; ② 同级的多个q之间用,分割with只需要一次,as后的子句必须用() with q1 as ( select key from q2 where key = '5'), q
【数据库】join的用法和场景（包含非等值于非等值）
lsr40的博客
08-14 3800
又好久没写文章了~今天来写写数据库join的事情 其实最近在看《长安十二时辰》，讲实话蛮好看的，为此我还用支付宝的积分换了一个月的优酷会员呢！ 写了挺长时间的sql，join这个功能应该说是非常常见，而且非常好用的了，他的实现是将两部分数据笛卡尔积，然后通过on字段来筛选符合条件的结果。 一、等值join 等值的join一般是实现两种功能： 1、过滤掉不需要的数据 场景： 表A有...
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
zcs2312852665的博客
01-12 2440
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
修改HIVE删表就卡顿的问题
siyuao的博客
05-17 1045
修改HIVE删表就卡顿的问题 前一段时间，在好不容易安装好hive时之后遇到了新的问题，就是hive表删除卡顿的情况。创建数据库没问题，创建表没问题，插入没问题，最多时间延长一些，但是一删表，就跟打嗝打到一半卡喉咙一样，就卡死到哪里，一动不动，坚持了几分钟，就像下图： 上网查资料，终于明白事情真相，MySQL的编码出现了问题，自己安装的mysql，字符集都改成了utf-8，如果要解决的话，需要都改成latin1 首先找到mysql安装目录下的my.cny文件， 我的是在根目录下usr下面，找到之后vim
Hive join on的不等条件实现方法
热门推荐
孙张宾博客
12-02 3万+
hql的join on操作只支持相等条件，比如：select * from a join b on a.id=b.id;但是不支持相等条件以外的情况，比如：select * from a join b on a.id <> b.id; select * from a join b on a.name like '%'+b.name+'%';这是因为Hive很难把不等条件翻译成mapreduce jo
dbeaver Unable to read HiveServer2 configs from ZooKeeper
最新发布
03-17
### 解决方案 当遇到 DBeaver 连接 HiveServer2 时无法从 ZooKeeper 读取配置的问题，通常是因为权限设置不正确或者某些必要的服务未正常运行。以下是详细的分析和解决方案。 #### 权限问题 如果用户尝试通过 Ranger 授权访问 HiveServer2 的资源，则需要确保该用户的权限已正确定义并分配。Ranger 中可能存在如下错误提示：“User doesn't have necessary permission to grant access”。这表明当前登录到 DBeaver 的用户缺少足够的权限来操作 Hive 数据库或表对象[^2]。 为了修复此问题，请按照以下方法调整 Ranger 配置： 1. 登录至 Apache Ranger Web UI。 2. 创建一个新的策略 (Policy)，指定允许哪些主体可以执行特定的操作（如 SELECT, INSERT 等）。 3. 将这些新创建的策略绑定给对应的角色组或个人账户名下。 完成上述更改之后重新测试连接过程即可消除因缺乏授权而导致的功能障碍情况。 #### Thrift Server 和 HDFS 文件系统冲突 另一个可能引发 `Filesystem Closed` 错误的原因在于 Spark 应用程序内部处理 JDBC Connection 生命周期的方式不当所致。具体来说，在调用了 `connection.close()` 方法后不仅终止了自己的数据库会话链接同时也意外切断了与远程存储之间的通信链路——即关闭了共享同一个基础 API 层次结构上的 Hadoop Distributed File System 实例[^1]。 为了避免这种情况发生，建议采取下面几种措施之一： - 修改应用程序逻辑以避免显式调用 close 函数； - 或者考虑升级所使用的软件版本组合从而利用更稳定的交互机制； 此外还需要确认所有依赖组件均处于良好状态并且能够相互协作无间断工作。 ```sql -- Example SQL query that might be used within your application context. SELECT * FROM example_table LIMIT 10; ``` 最后值得注意的一点是关于未能成功解析来自 ZK 节点中的 HS2 地址信息这一现象也可能暗示着网络连通性方面存在问题或者是客户端端侧参数设定有误。因此务必核查相关环境变量以及 XML/YAML 类型文件里定义的服务地址是否准确有效。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值