HIVESERVER2 HA配置及使用（java）

最新推荐文章于 2025-05-12 19:18:19 发布

tomson8975

最新推荐文章于 2025-05-12 19:18:19 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/tomson8975/article/details/49465549

本文介绍HiveServer2高可用配置步骤，包括Zookeeper集群注册与客户端连接方式。通过修改配置文件并创建Zookeeper命名空间实现动态服务发现。提供Java示例代码展示如何连接HiveServer2。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原理：
1.1 每个hiveserver2的实例启动的时向指定的zk namespace注册自己的信息主要是HOSTNAME:PORT
1.2 client 连接的时候首先向zk 随机获取HOSTNAME:PORT，然后建立连接。开始执行hive操作
架构：

配置：
3.1 修改hive-site.xml配置文件：增加以下配置

<name>hive.zookeeper.quorum</name>

</property>

<name>hive.zookeeper.session.timeout</name>

</property>

<name>hive.server2.support.dynamic.service.discovery</name>

</property>

<name>hive.server2.zookeeper.namespace</name>

<value>hiveserver2</value>

</property>

3.2 在zk中创建namespace为hiveserver2的节点。

启动：
在需要启动hiveserver2的集群上面分别执行以下命令：

hive --service hiveserver2 deregister

使用：
4.1 采用java连接hiveserver2

 
            package 
            com.baifendian.hiveserver2.ha;
           
            import 
            java.sql.SQLException;
           
            import 
            java.sql.Connection;
           
            import 
            java.sql.ResultSet;
           
            import 
            java.sql.Statement;
           
            import 
            java.sql.DriverManager;
           
            public 
            class 
            TestHiveserverHA {
           
            private 
            static 
            String driverName = 
            "org.apache.hive.jdbc.HiveDriver"
            ;
           
            /**
           
            * @param args
           
            * @throws SQLException
           
            */
           
            public 
            static 
            void 
            main(String[] args) 
            throws 
            SQLException {
           
            try 
            {
           
            Class.forName(driverName);
           
            } 
            catch 
            (ClassNotFoundException e) {
           
            // TODO Auto-generated catch block
           
            e.printStackTrace();
           
            System.exit(
            1
            );
           
            }
           
            String hive2String = 
            "jdbc:hive2://172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181/default"
            +
           
            ";serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2"
            ;   
           
            //DriverManager.
           
            Connection con = DriverManager.getConnection(hive2String, 
            "hive"
            , 
            ""
            );
           
            System.out.println(con);
           
            Statement stmt = con.createStatement();
           
            String tableName = 
            "testHiveDriverTable"
            ;
           
            stmt.execute(
            "drop table if exists " 
            + tableName);
           
            stmt.execute(
            "create table " 
            + tableName + 
            " (key int, value string)"
            );
           
            String sql = 
            "show tables"
            ;
           
            System.out.println(
            "Running: " 
            + sql);
           
            ResultSet res = stmt.executeQuery(sql);
           
            if 
            (res.next()) {
           
            System.out.println(res.getString(
            1
            ));
           
            }
           
            }
           
            }

参考地址：
hiveserver2 HA参考地址