Hive hiveserver2 高可用

最新推荐文章于 2024-12-06 22:15:12 发布

wending-Y

最新推荐文章于 2024-12-06 22:15:12 发布

阅读量2k

点赞数 1

分类专栏： hive 进阶文章标签： hive zk hiveserver

本文链接：https://blog.youkuaiyun.com/qq_22222499/article/details/80045165

版权

hive 进阶专栏收录该内容

18 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在生产环境中配置Hive Server2以实现高可用性，包括修改hive-site.xml配置文件以确保Zookeeper可用，以及在两台机器上启动hiveserver2服务，并在Zookeeper中观察到两个子节点，最后通过beeline进行连接验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.hiveserver只支持单连接，不适用生产环境，生产环境配备hiveserver2,生产环境应具备高可用。
2.配置文件修改,hive-site.xml，保证zk可用

 <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <property>

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wending-Y

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

hiveserver2的高可用HA

九师兄

09-12

3739

文章目录1. 架构原理介绍2.配置3. 检验是否在zookeeper上注册5. beeline连接6. 测试 1. 架构原理介绍这里最主要的是利用了zk的命名空间，首先我们把两个hiserver2先后启动，注册到zk集群的，然后通过zk轮询做高可用，就是这么简单，下边详细讲解一下，安装配置第一步在两台节点上安装hive，除了配置的ip不同，其他的都相同，并在hive-site.xml中添加如下配置 2.配置 <property> <name>spark.deplo

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

12-04

1627

一、部署规划Hadoop3.*高可用集群部署参考：https://blog.youkuaiyun.com/forest_long/article/details/128157294二、部署版本三、集群规划hive远程模式 && hiveserver2高可用四、MySQL安装1、下载和解压https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 2、环境配置 3、创建配置文件初始化MYSQ

参与评论您还未登录，请先登录后发表或查看评论

Hive扩展功能(五)--HiveServer2服务高可用

asd315861547的博客

02-21

510

软件环境:linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc

hiveserver2和zookeeper的HA搭建

jianchow的博客

09-18

3699

在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多： 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应

【Hive部署搭建高可用集群 ha】

耀哥的博客

12-13

1632

Hive搭建 ha高可用集群Hive搭建 ha高可用集群第一步修改hdfs-site.xml第二步修改core-site.xml修改mapred-site.xml第四步修改yarn-site.xml Hive搭建 ha高可用集群你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。第一步修改hdfs-site.xml <configuration> <!--指

hiveserver2的配置和启动

热门推荐

leanaoo的博客

10-24

6万+

概览 1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件 3.测试首先将hive安装然后更改部分配置文件 1.配置hive-site.xml 利用Xshell工具连接虚拟机进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-...

Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本

weixin_52918377的博客

05-21

2569

hive部署下载apache hive 3.1.2 http://archive.apache.org/dist/hive/ 注：先看hive编译文档，使用编译好的安装包进行部署官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。重新编译，参考本人写的另一篇文章 hive3.1.4源码编译兼容spark3.0.0 hive on spark 升级guava版本兼容

hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2

weixin_52918377的博客

04-20

2403

HiveServer2 高可用 修改配置hive-site.xml,增加一下内容 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server2.zookeeper.namespace</

hiveserver2高可用机制解析

u010845306的专栏

11-26

3194

文章目录hiveserver2 ha-zk机制(hive-1.1版本)1.服务端:1.1 hiveserve2 mainClass 启动流程1.2根据启动命令行获取具体服务1.3 初始化server.init(conf) 启动过程设置钩子任务1.4 服务退出 hiveServer2.stop(), 移除服务信息2.客户端连接过程(JDBC):2.1 获取hiveserver2连接2.2 Driv...

Hive HA (高可用)搭建

chooser007的博客

07-04

1137

官方文档 hive的搭建方式有三种，分别是 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server 一般情况下，我们在学习的时候直接使用hive –service metastore的方式启动服务端，使用hive的方式直接访问登录客户端，除了这种方式之外，hive提供了hiveserver2的服务端启动方式，提供了beeline和jdbc的支持，并且官网也提出

Hive 高可用HA搭建

狂奔的乌牛的博客

11-12

2707

1、使用HiveServer2提供HA的好处 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应用进行数据交互； 6. 从2.0开始，HiveServer2提供了WEB UI。 Hive从0.14开始，使用Zookeeper实现了Hive.

HIVE HA高可用性及详细使用

05-26

HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用

[bigdata-030] cdh 5.9的impyla操作hiveserver2

大数据和机器学习研究

01-12

521

1. cdh 5.9 2. 开发机已经安装了impyla 3. 在cdh集群的一个节点启动hiveserver2 3.1 修改/etc/hive/conf.cloudera.hive/hive-site.xml 增加属性 hive.server2.authentication NONE 将属性hive.server2.enable.doAs设置为f

Hadoop生态圈框架部署（九-2）- Hive HA（高可用）部署

zcs2312852665的博客

12-06

1671

在大数据处理领域，Hive 是一个强大的数据仓库工具，能够提供数据的查询、分析和管理功能。它基于 Hadoop 构建，允许用户使用类似 SQL 的查询语言（HiveQL）来操作存储在 Hadoop 分布式文件系统（HDFS）中的数据。本文将详细介绍如何手动部署 Hive 3.1.3，包括从下载、安装到配置的每一个步骤。此外，我们还将探讨如何在多台虚拟机上实现 Hive 的高可用性（HA），确保在集群环境中能够稳定高效地运行 Hive 服务。

hive安装和高可用部署

01-07

1265

hive安装配置

高可用集群搭建系列文章之五：Hive搭建

thinkhui的专栏

10-09

844

本篇文章主要介绍Hive的搭建，由于公司环境要求，这里选择的是hive-1.2.1。安装Hive之前必须安装MySQL，因为这里Hive的元数据是保存在MySQL中的。 1、下载安装包，并解压下载地址解压命令如下： tar -zxvf apache-hive-1.2.1-bin.tar.gz 2、配置/etc/profile export HIVE_HOME=/home/hadoop/app...

hive通过nginx实现HA高可用

硅谷工具人

05-11

421

1. nginx的安装 1.1 下载上传http://nginx.org/en/download.html 1.2 linux上安装c++编译环境 yum install -y zlibyum install gcc-c++ openssl openssl-devel zlib-devel pcre pcre-devel zlib zlib-devel 1.3 解压并编译注意：这里一定要带上-......

Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装

totxian的专栏

04-24

9858

Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装

配置hive环境步骤（zookeeper高可用集群已搭建）

weixin_30895603的博客

05-10

490

安装mysql；1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)2. 卸载自带的mysql3. 卸载软件：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_644. 安装mysql客户端与服务器.4.1下载依赖sudo yum install libaiosudo yum install perl导入服务器，客户...

CDH配置hive高可用后HUE如何配置支持hiveserver2高可用？

最新发布

03-08

<think>好的，我需要解决用户关于在CDH中配置Hive高可用后，如何让HUE支持HiveServer2高可用的问题。首先，我需要回顾一下Hive高可用的基本配置，通常这涉及到多个HiveServer2实例和ZooKeeper来实现故障转移。用户已经完成了Hive的高可用配置，现在需要调整HUE的设置来支持这一点。接下来，我应该考虑HUE连接HiveServer2的方式。通常，HUE会直接连接到一个HiveServer2的主机名和端口。但在高可用环境下，应该通过ZooKeeper的服务发现机制来动态获取可用的HiveServer2实例。因此，HUE的配置需要从单节点地址改为使用ZooKeeper的集合地址。然后，我需要确认HUE配置文件中相关的参数。CDH中HUE的配置通常通过Cloudera Manager管理，可能需要修改hue_safety_valve.ini或者直接编辑hue.ini文件。关键点是将HiveServer2的连接URL从直接的主机:端口改为ZooKeeper的命名空间，例如jdbc:hive2://zk1:2181,zk2:2181,zk3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2。另外，可能需要设置负载均衡或故障转移的参数，比如连接超时和重试机制，确保HUE能够正确处理连接失败的情况。还要注意HiveServer2的Kerberos认证配置，如果启用了安全认证，HUE的配置中需要包含相应的principal和keytab信息。此外，可能需要检查HUE与HiveServer2之间的版本兼容性，确保使用的JDBC驱动支持高可用配置。如果有必要，更新HUE的lib目录下的Hive JDBC驱动版本。最后，配置完成后需要重启HUE服务，并进行测试，验证HUE能否通过ZooKeeper正确连接到HiveServer2集群，并且在某个节点故障时能够自动切换到其他可用节点。</think>以下是配置HUE支持HiveServer2 HA的步骤： ### 核心配置步骤 1. **修改Hue服务配置** ```ini [beeswax] # 原始单节点配置（需注释） # hive_server_host=hs2-host1 # hive_server_port=10000 # 启用ZooKeeper服务发现 hive_server2_jdbc_url=jdbc:hive2://zk1:2181,zk2:2181,zk3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 ``` 2. **添加ZooKeeper参数**（可选增强配置） ```ini # 设置连接超时为120秒 hive_server2_session_connection_timeout=120 # 启用连接池保持会话 hive_server2_conn_pool=True ``` 3. **安全认证配置**（如启用Kerberos） ```ini [security] # 配置Kerberos认证信息 kerberos_hive_principal=hive/_HOST@YOUR-REALM.COM kerberos_keytab=/etc/hue/keytabs/hue.service.keytab ``` ### 配置验证流程 1. 通过Cloudera Manager分发配置 2. 重启Hue服务 3. 检查日志确认连接状态： ```bash tail -f /var/log/hue/hue_server.log | grep 'HiveServer2' ``` 4. 执行双重验证测试： - 正常查询验证 - 手动停止当前连接的HS2节点，验证自动切换 ### 注意事项 1. **ZooKeeper命名空间**需与HiveServer2 HA配置的`hive.server2.zookeeper.namespace`一致 2. **网络策略**确保Hue服务器能访问所有ZooKeeper节点 3. **负载均衡**建议配合Haproxy实现更均衡的连接分配 ### 故障排查要点 1. 使用zkCli.sh验证服务注册状态： ```bash ls /hiveserver2 get /hiveserver2/serverUri=host1:port ``` 2. JDBC驱动版本需与CDH版本匹配 3. 检查SASL/GSSAPI协商日志（如果启用Kerberos）完成配置后，Hue即可通过ZooKeeper自动发现可用的HiveServer2节点，实现高可用访问。建议在配置变更后通过不同HS2节点执行查询，观察连接切换是否正常。