hiveJdbc ha 链接报错

最新推荐文章于 2025-01-29 11:27:22 发布
最新推荐文章于 2025-01-29 11:27:22 发布
阅读量7.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hivehdbc ha ZooKeeperHiveClientE mr.MapRedTask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yangwy012210/article/details/53484965
本文解决了在使用Java执行Hive MR任务时遇到的ZooKeeperHiveClientException异常，并介绍了如何正确配置hive-site.xml以实现HiveServer2的高可用。通过更改hive.server2.thrift.bind.host配置项及设置正确的HA参数，最终实现了稳定运行。

java hive execute org.apache.hadoop.hive.ql.exec.mr.MapRedTask 

安装的是hive2  然后java执行hive 直接select* from table 没有问题 但是带有mr的会包这个错，

然后beeline连接执行查看是版本问题换成

1.2.就ok了



org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read HiveServer2 uri from ZooKeeper

该错误调试了好长时间，最后无意中发现 hive-site.xml中的配置项：hive.server2.thrift.bind.host 为0.0.0.0

然后查看zk中写入的也是0.0.0.0:10000

然后重启将该项改为本机Ip重启就OK看了


hive注册zk的ha配置：

http://lxw1234.com/archives/2016/05/675.htm



  1. <property>
  2. <name>hive.server2.support.dynamic.service.discovery</name>
  3. <value>true</value>
  4. </property>
  5.  
  6. <property>
  7. <name>hive.server2.zookeeper.namespace</name>
  8. <value>hiveserver2_zk</value>
  9. </property>
  10.  
  11. <property>
  12. <name>hive.zookeeper.quorum</name>
  13. <value> zkNode1:2181,zkNode2:2181,zkNode3:2181</value>
  14. </property>
  15.  
  16. <property>
  17. <name>hive.zookeeper.client.port</name>
  18. <value>2181</value>
  19. </property>
  20.  
  21.  
  22. <property>
  23. <name>hive.server2.thrift.bind.host</name>
  24. <value>0.0.0.0</value> //改为本机Ip
  25. </property>
  26.  
  27. <property>
  28. <name>hive.server2.thrift.port</name>
  29. <value>10001</value> //两个HiveServer2实例的端口号要一致
  30. </property>


hadoop的core-site.xml
  1. <property>
  2. <name>hadoop.proxyuser.abc.groups</name>
  3. <value>*</value>
  4. </property>
  5.  
  6. <property>
  7. <name>hadoop.proxyuser.abc.hosts</name>
  8. <value>*</value>
  9. </property>

刷新权限

yarn rmadmin -refreshSuperUserGroupsConfiguration

hdfs dfsadmin -refreshSuperUserGroupsConfiguration


beeline连接方式：!connect jdbc:hive2://yun01:2181,yun02:2181,yun03:2181,yun04:2181,yun05:2181/weather_eva_db;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk abc ""

java 通过zookeeper连接hiveserver2报错：org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read Hi
QYmufeng的博客
06-02 1万+
环境： hive驱动版本：1.2.1 通过以下连接方式，通过hiveserver2 urljdbc:hive2://prddn01.com:10000/;principal=hive/prddn01.com@SC.COM 连接hiveserver2完全正确，但是换成zookeeper url就报错： package com.asiainfo; import java.io.IOException; import java.sql.Connection; import java.sql.Drive..
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1729
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Hive执行set命令的时候报cannot modify xxx at runtime
编程技术、独立开发、技术资讯以及编程感悟等内容
01-29 765
Hive执行set命令的时候报cannot modify xxx at runtime
Jdbc访问hive
zeng6325998的博客
06-20 2654
JDBC访问注意点 如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是版本导致的） 1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上 2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下版本使其和服务器一致 1、hiveserver、hiveserver2 的区别 两者都允许远程客户端使用多
Unable to read HiveServer2 configs from ZooKeeper
热门推荐
u012667450的博客
11-18 1万+
Unable to read HiveServer2 configs from ZooKeeper 问题描述 在HDP集群开启kerberos后，在连接Hive时报错： Unable to read HiveServer2 configs from ZooKeeper 产生原因 原因可能很多，说不完，道不尽。 但是，如果zookeeper是正常启动的话，归根结底，就一个： Hive的连接串中参数不对！！！ 可能的情况有： 没有加keytab文件 没有加krb5.conf文件 principal拼错了
【大数据】解决Hive JDBC的连接出错的一种问题
midnight_time的博客
12-13 3405
正经标题： 解决Hive JDBC的连接出错问题 &amp;amp;amp;amp;amp;emps;&amp;amp;amp;amp;amp;emps;记得一个月前我写过一篇文章：【大数据】Hive作者肯定进修过蓝翔挖掘机 &amp;amp;amp;amp;amp;emps;&amp;amp;amp;amp;amp;emps;那时候我就点名批评过两位了（Hive作者和我的大数据老师）本以为他们在Hive配置文件里面挖个大坑就完了，没想到，他们还在Hadoop配
hive搭建（hadoopHA集群上）
Mr.Zheng的博客
03-04 1988
前言 目前在整理hadoopHA搭建素材，整理好后贴上链接！ 简介 What is Hive! Hive是一种数据仓库软件，使用SQL来促进对分布式设备上存储的大体量的数据集进行读，写和管理！ ​ SQL(结构化查询语言)，使用SQL的前提是需要有一张表！ ​ Hive分析数据必须可以映射为一个表结构！ ​ Hive提供了JDBC驱动和命令行工具，让用户连接Hive! ​ Hive基于H...
DataGrip 连接 Hive 1.1
半吊子Kyle的博客
05-14 977
DataGrip 连接 Hive 1.1 环境介绍 MacBook M1 + DataGrip 2021 + Hive 1.1 直接连接，报错，原因为 hive-jdbc 的版本太高 [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://10.20.147.31:10000/default: Could not establish connection to jdbc:hive2://10.20.147.31:
HA高可用+hive+hbase+sqoop+kafka+flume+spark安装部署
慕铭yikm
11-08 2107
资料 链接：https://pan.baidu.com/s/162xqYRVSJMy_cKVlWT4wjQ 提取码：yikm
CDH6.x HiveServer2 HA配置
蝈蝈
11-22 2062
1 CDH6.X HiveServer2 HA 官方文档 1.1 修改代理token的存储实现类 修改为org.apache.hadoop.hive.thrift.DBTokenStore 1.2 增加HiveServer2 实例 1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀） 配置如下两项 <!--默认为false，配置为true HiveServer2会动态分配客户端--> <property> <name&gt
java hive查询_java程序调用hive查询的一个异常
weixin_29465407的博客
02-24 668
最近在java程序中调用hive做查询时，碰到一个异常，被困扰了许久，经过几番调试，逐步把问题定位清楚。在异常描述前先给出异常信息：java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.te...
java连接hive后执行查询后 报错_使用jdbc连接hive库查询数据时当executeQuery方法长时间没有执行时抛出异常...
weixin_40008870的博客
02-27 1082
使用jdbc连接hive库查询数据时当executeQuery方法长时间没有执行时抛出异常开始的时候查询正常，当查询间隔时间拉长就会抛出此异常java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed outat org.apa...
通过jdbc连接hive报java.sql.SQLException: Method not supported问题
weixin_33842328的博客
08-28 1万+
今天尝试通过jdbc连接hive，JDBC直接连接是正常成功的，实例： import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLEx...
Hive 高可用HA搭建
狂奔的乌牛的博客
11-12 2719
1、使用HiveServer2提供HA的好处 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应用进行数据交互； 6. 从2.0开始，HiveServer2提供了WEB UI。 Hive从0.14开始，使用Zookeeper实现了Hive.
hive启动报错Caused by: java.sql.SQLException: Access denied for user ‘root‘@‘master‘ (using password: YE
xuntaol123的博客
04-17 449
Hive通过JDBC方式访问时碰到的问题汇总
sky 胡萝卜星星
10-19 4922
1、执行hive sql时服务器报Connection refused错误 解决方法：Hive没有启动hive server2，可以通过如下指令启动，指令的后半段是指定日志存放地址hive --service hiveserver2 2>&1 >> /home/user/hive/log.log 2>&1 & 2、执行hive sql时报 xxxx is not allowed to im
Hive HA (高可用)搭建
chooser007的博客
07-04 1157
官方文档 hive的搭建方式有三种，分别是 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server 一般情况下，我们在学习的时候直接使用hive –service metastore的方式启动服务端，使用hive的方式直接访问登录客户端，除了这种方式之外，hive提供了hiveserver2的服务端启动方式，提供了beeline和jdbc的支持，并且官网也提出
虚拟机集群搭建过程中hive和zookeeper启动错误原因及分析
追梦人的博客
07-07 1844
这段时间在学习搭建集群，搭建过程很辛酸哈哈。原来搭集群一窍不通，用了三天，之后自己半天就可以搭完。现在和小伙伴合作，在阿里云服务器搭建集群，1个小时内就可以完成，哈哈。 hive启动报错原因分析 搭建完集群后我关了虚拟机，然后下次启动hive的时候发现会报错，部分错误代码如下： Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://19
[hive-3.1.3]Beeline 用zookeeper 发现模式连接 HiveServer2 连接 leader 异常
houzhizhen的专栏
05-11 4116
1. 异常描述 使用 beeline 连接 hivesever 时，抛出异常如下： [root@vhost-120-28 hive]# beeline -u "jdbc:hive2://vhost-120-26:2181,vhost-120-27:2181,vhost-120-28:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" --verbose=true SLF4J: Class path contains mul
hive 报错
最新发布
05-30
### Hive 报错解决方案 在使用 Hive 时，可能会遇到多种报错情况。以下是针对不同场景的解决方案，结合了提供的引用内容和专业知识。 #### 1. **PyHive 在 Windows 环境下连接 Hive 报错** 当在 Windows 环境中安装 PyHive 并尝试运行 `from pyhive import hive` 时，可能会出现如下错误：`cannot import name 'constants' from 'TCLIService' (unknown location)`[^1]。这种问题通常与依赖库的版本不兼容有关。解决方法包括： - 确保已正确安装 `thrift` 库，并且其版本与 PyHive 兼容。 - 如果问题仍然存在，可以尝试升级或降级 `thrift` 和 `sasl` 库至合适的版本。 ```python pip install thrift==0.13.0 sasl==0.2.1 ``` #### 2. **HDFS 高可用（HA）环境下 Hive 报错** 在 HDFS 开启高可用（HA）之后，如果 Hive 无法正确切换到活跃的 NameNode，则可能出现以下问题：Hive 尝试访问处于 Standby 状态的 NameNode（如 master01），导致元数据读取失败[^2]。为了解决此问题，需要确保以下配置正确： - 修改 Hive 的配置文件 `hive-site.xml`，将 HDFS 地址替换为 HA 的逻辑名称。 - 确保所有客户端使用的 HDFS 地址均为 HA 配置中的逻辑名称，而非具体的 NameNode 地址。 示例配置： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://my-ha-cluster</value> </property> ``` #### 3. **Hive JDBC 连接报错** 当通过 JDBC 连接 Hive 时，可能会因为权限问题导致连接失败。例如，Hadoop 的 `core-site.xml` 文件未正确配置代理用户权限，可能会引发以下错误：`User: root is not allowed to impersonate anonymous`[^3]。为了解决该问题，需要在 `core-site.xml` 中添加以下配置： ```xml <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> ``` 上述配置允许超级用户（如 `root`）从任意主机代理任意用户。完成修改后，需重启 Hadoop 和 Hive 服务以使更改生效。 #### 4. **其他常见 Hive 报错及解决方案** - **Metastore 连接失败**：检查 Hive Metastore 的配置是否正确，确保数据库（如 MySQL）服务正常运行，并验证用户名、密码及连接字符串无误。 - **SerDe 解析错误**：确认表定义中的 SerDe 类与实际数据格式匹配。例如，JSON 数据应使用 `org.openx.data.jsonserde.JsonSerDe`。 - **内存不足**：调整 Hive 的内存参数，如 `hive.exec.reducers.bytes.per.reducer` 和 `hive.exec.reducers.max`，以优化任务执行。 --- ### 示例代码 以下是一个简单的 Hive JDBC 连接示例，供参考： ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class HiveJdbcExample { public static void main(String[] args) throws Exception { String driverName = "org.apache.hive.jdbc.HiveDriver"; String connectionUrl = "jdbc:hive2://<host>:<port>/<database>"; String query = "SELECT * FROM example_table LIMIT 10"; Class.forName(driverName); try (Connection connection = DriverManager.getConnection(connectionUrl, "username", "password"); Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery(query)) { while (resultSet.next()) { System.out.println(resultSet.getString(1)); } } } } ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值