HDP Hiveserver2搭建高可用

最新推荐文章于 2024-04-09 16:48:28 发布

半_调_子

最新推荐文章于 2024-04-09 16:48:28 发布

阅读量4.2k

点赞数

分类专栏：大数据平台魂牵梦萦地文章标签： hadoop hdp ambari pg 数据库

本文链接：https://blog.youkuaiyun.com/wangjunji34478/article/details/78280227

版权

大数据平台同时被 2 个专栏收录

31 篇文章

订阅专栏

魂牵梦萦地

6 篇文章

订阅专栏

本文介绍如何通过配置HiveServer2与Zookeeper进行集成，实现动态服务发现。主要内容包括添加服务、配置参数、注册及验证过程，并提供JDBC连接示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步：添加hiveserver2服务

第二步：增加配置项

<name>hive.server2.support.dynamic.service.discovery</name>

</property>

<name>hive.server2.zookeeper.namespace</name>

<value>hiveserver2</value>

</property>

<name>hive.zookeeper.quorum</name>

<value>hadoop1:2181,hadoop0:2181,hadoop2:2181</value>

</property>

<name>hive.zookeeper.client.port</name>

</property>

<name>hive.server2.thrift.bind.host</name>

</property>

<name>hive.server2.thrift.port</name>

</property>

第三步：注册

到分别有hiveserver2的机器上面执行命令

[root@hadoop2 ~]# hiveserver2

第四步：验证，一个节点注册

[zk: localhost:2181(CONNECTED) 4] ls /hiveserver2

[serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequence=0000000005]

第二个节点注册后

[serverUri=hadoop2:10000;version=1.2.1.2.3.4.0-3485;sequence=0000000007, serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequence=0000000005]

第四步：连接串JDBC连接

JDBC连接的URL格式为：

jdbc:hive2://<zookeeper quorum>/<dbName>;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

其中：

<zookeeper quorum> 为Zookeeper的集群链接串，如hadoop1:2181,hadoop0:2181,hadoop2:2181

<dbName> 为Hive数据库，默认为default

serviceDiscoveryMode=zooKeeper 指定模式为zooKeeper

zooKeeperNamespace=hiveserver2 指定ZK中的nameSpace，即参数hive.server2.zookeeper.namespace所定义，我定义为hiveserver2

第五步：线上使用

beeline> !connect jdbc:hive2://hadoop1:2181,hadoop0:2181,hadoop2:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;

Connecting to jdbc:hive2://hadoop1:2181,hadoop0:2181,hadoop2:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;

Enter username for jdbc:hive2://hadoop1:2181,hadoop0:2181,hadoop2:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;:

Enter password for jdbc:hive2://hadoop1:2181,hadoop0:2181,hadoop2:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;:

Connected to: Apache Hive (version 1.2.1.2.3.4.0-3485)

Driver: Hive JDBC (version 1.2.1.2.3.4.0-3485)

Transaction isolation: TRANSACTION_REPEATABLE_READ

0: jdbc:hive2://hadoop1:2181,hadoop0:2181,had>

0: jdbc:hive2://hadoop1:2181,hadoop0:2181,had> sow d;

0: jdbc:hive2://hadoop1:2181,hadoop0:2181,had> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |