HIVESERVER2 HA配置及使用(java)

本文介绍HiveServer2高可用配置步骤,包括Zookeeper集群注册与客户端连接方式。通过修改配置文件并创建Zookeeper命名空间实现动态服务发现。提供Java示例代码展示如何连接HiveServer2。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 原理:
      1.1 每个hiveserver2的实例启动的时向指定的zk namespace注册自己的信息主要是HOSTNAME:PORT
      1.2 client 连接的时候首先向zk 随机获取HOSTNAME:PORT,然后建立连接。开始执行hive操作
  2. 架构:
      
  3. 配置:
     3.1 修改hive-site.xml配置文件:增加以下配置
     

    <property>

           <name>hive.zookeeper.quorum</name>

           <value>172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181</value>

       </property>

     

       <property>

           <name>hive.zookeeper.session.timeout</name>

           <value>10000</value>

       </property>

     

       <property>

           <name>hive.server2.support.dynamic.service.discovery</name>

           <value>true</value>

       </property>

     

       <property>

           <name>hive.server2.zookeeper.namespace</name>

           <value>hiveserver2</value>

       </property>

    3.2 在zk中创建namespace为hiveserver2的节点。

  4. 启动:
    在需要启动hiveserver2的集群上面分别执行以下命令:

    hive --service hiveserver2 deregister
  5. 使用:
    4.1 采用java连接hiveserver2
          

    package  com.baifendian.hiveserver2.ha;
    import  java.sql.SQLException;
    import  java.sql.Connection;
    import  java.sql.ResultSet;
    import  java.sql.Statement;
    import  java.sql.DriverManager;
      
    public  class  TestHiveserverHA {
       private  static  String driverName =  "org.apache.hive.jdbc.HiveDriver" ;
      
       /**
        * @param args
        * @throws SQLException
        */
       public  static  void  main(String[] args)  throws  SQLException {
         try  {
           Class.forName(driverName);
         catch  (ClassNotFoundException e) {
           // TODO Auto-generated catch block
           e.printStackTrace();
           System.exit( 1 );
         }
         String hive2String =  "jdbc:hive2://172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181/default" +
                              ";serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" ;   
         //DriverManager.
         Connection con = DriverManager.getConnection(hive2String,  "hive" "" );
         System.out.println(con);
         Statement stmt = con.createStatement();
         String tableName =  "testHiveDriverTable" ;
         stmt.execute( "drop table if exists "  + tableName);
         stmt.execute( "create table "  + tableName +  " (key int, value string)" );
         String sql =  "show tables" ;
         System.out.println( "Running: "  + sql);
         ResultSet res = stmt.executeQuery(sql);
         if  (res.next()) {
           System.out.println(res.getString( 1 ));
         }
       }
       
    }
  6. 参考地址:
    hiveserver2 HA参考地址
<think>好的,用户现在想了解如何在HiveServer2 1.2.1版本中启用JMX监控。首先,我需要回顾之前关于Spark Thrift Server配置JMX的经验,看看是否有共通之处。之前提到过在Spark中配置JMX认证,可能类似的步骤适用于HiveServer2。 接下来,用户提供的引用内容中,引用[1]提到Zookeeper集群的配置,这可能与HiveServer2的高可用性有关,但当前问题主要集中在JMX监控,所以暂时可以忽略这部分。引用[2]讨论了Java应用服务器的组件,比如Jetty的Server和Connector,这可能涉及到HiveServer2的内部结构,但用户需要的是监控配置,可能需要调整JVM参数。引用[3]中的Spark Streaming代码示例可能与日志处理有关,但不太直接相关。 用户之前的问题是关于Spark Thrift Server的会话监控,现在转向HiveServer2的JMX监控。需要确认HiveServer2的版本是1.2.1,这个版本可能有一些特定的配置要求。JMX监控通常涉及设置JVM参数来启用远程管理和端口,同时可能需要配置认证和SSL以确保安全。 需要检查HiveServer2的启动脚本,通常是hive-service.sh或者通过hive --service hiveserver2启动。在JVM参数中添加相关的系统属性,如com.sun.management.jmxremote.port、com.sun.management.jmxremote.ssl和com.sun.management.jmxremote.authenticate等。同时,用户可能需要修改hive-env.sh文件来设置HIVE_SERVER2_OPTS环境变量。 另外,考虑到安全性,建议用户启用SSL和认证,避免未授权访问。需要提醒用户创建jmxremote.password和jmxremote.access文件,并设置正确的权限。对于防火墙设置,确保指定的JMX端口(如9010)是开放的。 最后,验证步骤包括使用JConsole或VisualVM连接,或者使用命令行工具如jstat和jcmd来检查JMX是否启用成功。可能需要提醒用户检查日志文件,确认没有错误信息,并且JMX端口正在监听。 总结步骤:修改Hive环境配置文件,添加JVM参数,配置认证和SSL,重启服务,验证连接。同时,确保用户了解安全风险,并采取适当的安全措施。</think>根据HiveServer2的JMX监控实现原理和1.2.1版本特性,以下是完整的配置方案: --- ### 一、基础JMX配置 1. **修改启动脚本** 在`hive-env.sh`中增加JVM参数: ```bash export HIVE_SERVER2_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9010 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=$(hostname -f)" ``` - `9010`为JMX服务端口(需防火墙开放) - 生产环境必须启用SSL和认证(见第三节) 2. **验证配置生效** 查看HiveServer2进程参数: ```bash ps -ef | grep HiveServer2 | grep jmxremote ``` --- ### 二、关键JMX指标 连接JConsole后可见核心MBean: - **内存管理** `java.lang:type=Memory` - HeapMemoryUsage(堆内存使用趋势) - NonHeapMemoryUsage(元空间监控) - **线程状态** `java.lang:type=Threading` - ThreadCount(并发连接数预警) - DeadlockedThreads(死锁检测) - **Hive特有指标** `org.apache.hive:service=*` - OpenConnectionsCount(当前活跃连接数)[^3] - ExecutedQueriesCounter(查询吞吐量) --- ### 三、安全增强配置 1. **启用JMX认证** 创建`jmxremote.password`文件: ```bash echo "monitorUser 密码123" > /etc/hive/jmxremote.password chmod 600 /etc/hive/jmxremote.password ``` 修改启动参数: ```bash -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=/etc/hive/jmxremote.password ``` 2. **强制SSL加密** 生成密钥库后配置: ```bash -Dcom.sun.management.jmxremote.ssl=true -Djavax.net.ssl.keyStore=/path/to/keystore.jks -Djavax.net.ssl.keyStorePassword=密钥库密码 ``` --- ### 四、与Zookeeper集成 当HiveServer2启用HA时,需同步监控Zookeeper会话(参考引用[1]): ```bash # 在Zookeeper客户端查看会话 echo stat | nc zoo1 2181 | grep Connections ``` 重点关注`ephemeral nodes`存活状态: ```bash [zk: localhost:2181(CONNECTED) 0] ls /hiveserver2 ``` --- ### 五、监控数据可视化 推荐采用Telegraf+InfluxDB+Grafana方案: 1. **Telegraf采集配置** `/etc/telegraf/telegraf.conf`添加: ```ini [[inputs.jmx]] urls = ["service:jmx:rmi:///jndi/rmi://hiveserver2-host:9010/jmxrmi"] username = "monitorUser" password = "密码123" ``` 2. **Grafana仪表盘指标** - 查询队列深度:`Hive:active_queries` - 内存泄漏检测:`JavaHeapUsed/JavaHeapMax`比值持续>80% - 线程阻塞告警:`Threading.BlockedCount`>5持续1分钟 --- ### 六、故障诊断示例 **现象**:出现`java.lang.NoClassDefFoundError`(参考引用[3]) **JMX诊断步骤**: 1. 检查`ClassLoadingMBean`的LoadedClassCount 2. 对比UnloadedClassCount变化趋势 3. 通过`VM.uptime`确认是否发生JVM重启 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值