java连接zookeeper高可用Hive报错

于 2021-09-13 17:42:42 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 大数据生态圈从入门到精通 文章标签： hive java zookeeper
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_37050372/article/details/120271838
版权
在尝试使用Java连接Zookeeper高可用的Hive时遇到NullPointerException错误。错误出现在TSocket.open()方法中。问题源在于hadoop版本为2.6.0-cdh5.5.2，hive版本为1.1.0-cdh5.16.2。通过改变Hive版本至1.1.0-cdh5.6.0，确保其高于Hadoop版本，解决了报错问题。使用旧的连接串不报错，而新的连接串（包含serviceDiscoveryMode和zooKeeperNamespace参数）则会导致问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在使用Java连接zookeeper高可用Hive时报错：

java.lang.NullPointerException

at org.apache.thrift.transport.TSocket.open(TSocket.java:209)

 

 

当前我的hadoop版本及hive版本如下：

<hadoop.version>2.6.0-cdh5.5.2</hadoop.version>
<hive.version>1.1.0-cdh5.16.2</hive.version>

此时我使用旧的连接串连接不报错：

"jdbc:hive2://marshal:10000";

但使用新的连接串去连接就报错：

"jdbc:hive2://marshal:2181,marshal01:2181/;serviceDiscoveryMode=zooKeeper;zo

了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用Zookeeper实现HiveServer2的HA
爱米酱的博客
09-13 494
我使用的版本是hive-1.2.1 要使hive实现HA则首先需要需要将这些hive的配置指向同一个元数据库即配置如下： 在hive-site.xml中 然后在hive-site.xml中配置需要利用zk做HA的hive服务配置，我这里需要在marshal及marshal01机器上启动hive服务，且在这两台机器上做HA,所以zk信息写了2个：marshal:2181,marshal01:2181 <property> <name>hive.ser
java 通过zookeeper连接hiveserver2报错：org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read Hi
热门推荐
QYmufeng的博客
06-02 1万+
环境： hive驱动版本：1.2.1 通过以下连接方式，通过hiveserver2 urljdbc:hive2://prddn01.com:10000/;principal=hive/prddn01.com@SC.COM 连接hiveserver2完全正确，但是换成zookeeper url就报错： package com.asiainfo; import java.io.IOException; import java.sql.Connection; import java.sql.Drive..
Java连接Hive使用Zookeeper的方式
anya7667的博客
07-27 4076
　　Java连接Hive的方式就是通过JDBC的方式来连接，URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等，这种方式是直接连接HiveServer2服务的，但是在现实中，还有一种以Zookeeper的方式去连接，例如： jdbc:hive2://zk01:2181,zk02:2181,zk03:2181/;service...
zookeeper 连接失败
12-27 1177
错误代码 27-Dec-2020 20:46:16.653 信息 [RMI TCP Connection(3)-127.0.0.1] org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath 27-Dec-2020 21:04:55.339 信息 [http-nio-8081-exec-6] org.apache.catalina.core.A
hive分区导致FAILED: Hive Internal Error: java.lang.NullPointerException(null)
weixin_33754065的博客
03-13 1036
 写了一条hive sql ，其中条件中存在 dt&gt;=20150101 and dt&lt;=20150228 这样的条件，原来执行没问题，今天就抛出   FAILED: Hive Internal Error: java.lang.NullPointerException(null)java.lang.NullPointerException at org.apache.hadoop....
java连接hive
lzlnd的博客
02-19 1063
maven依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&gt; &lt;artifactId&gt;hive-jdbc&lt;/artifactId&gt; &lt;version&gt;2.0.0&lt;/version&gt; &lt;/dependency&gt;
hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2
weixin_52918377的博客
04-20 2405
HiveServer2 高可用 修改配置hive-site.xml,增加一下内容 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server2.zookeeper.namespace</
hive报错 spark_Hive on Spark安装配置详解（都是坑啊）
weixin_39807541的博客
12-20 926
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均...
Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本
weixin_52918377的博客
05-21 2572
hive部署 下载apache hive 3.1.2 http://archive.apache.org/dist/hive/ 注：先看hive编译文档，使用编译好的安装包进行部署 官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。 后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。 重新编译，参考本人写的另一篇文章 hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容
java连接zookeeper进行简单操作
代码之路
05-13 1158
下面是简单的java对zookeeper的操作 package com.yydone.zookeeper; import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.KeeperException; import org.apache.zooke...
hive java insert_Hive Insert - 失败，异常无法更改表。显示java.lang.NullPointerException...
weixin_42385265的博客
03-04 1052
我们正在使用Cloudera 5.6。我们已经配置了Sentry for Hive。无论何时我们发布插入声明，都会失败，并显示下面的例外情况。但是当我们检查表格时，该行是正确插入的。我们已将所有权限设置为配置单元。$$$ insert into beckman values('rinku');INFO : Number of reduce tasks is set to 0 since there...
Zookeeper学习笔记(二)通过Java API调用Zookeeper
08-06 1308
sss
spark 从HIVE读数据导入hbase中发生空指针(java.lang.NullPointerException)问题的解决
大数据挖掘SparkExpert的博客
09-14 8792
陆续好多人会问，在写入Hbase的时候总是会出现空指针的问题，而检查程序，看起来一点也没有错。 如报的错误大致如下： Error: application failed with exception java.lang.RuntimeException: java.lang.NullPointerException     at org.apache.hadoop.hbase.cl
java 实用 jdbc 链接 hive
转身那一瞬
11-27 277
此种方式 可以链接 zookeeper 集群hive package com.geotmt.billingcenter.common.utils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.InitializingBean; imp...
如何使用Zookeeper实现HiveServer2的HA
hongtaq156136的专栏
02-01 5307
之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeeper实现HiveServe...
解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
ciqingloveless的博客
02-28 2996
这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...
空指针错误 java.lang.NullPointerException
小刀六
08-27 200
空指针异常，碰见这个错误真是挺恶心的，得去不停的debug。   空指针错误 java.lang.NullPointerException   错误原因： 使用基本的JAVA数据类型，变量的值要么已经是默认值，如果没有对其正常赋值，程序便不能通过编译，因此使用基本的JAVA数据类型(double,float,boolean,char,int,long)一般不会引起空指针异常。由此可见，空...
Java通过jdbc连接HIVE
Intelligebce的博客
09-08 703
一、连接 public static void main(String[] args) throws SQLException { try { Class.forName("org.apache.hive.jdbc.HiveDriver"); } catch (ClassNotFoundException e) { // TODO Auto-generated cat...
IDEA中使用Java连接Hive并读取数据
WinterPirates的博客
05-30 2736
有关Java连接Hive数据库， 首先要在Maven项目的pom.xml文件中加载依赖： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>0.13.1</version> </dependency> 在虚拟机上把Hive启动起来，
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来@音律

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值