【hive】hive的集群部署 及 出现的问题

最新推荐文章于 2023-11-13 18:19:04 发布
最新推荐文章于 2023-11-13 18:19:04 发布
阅读量1.8k 收藏 2
点赞数 3
分类专栏： hive 文章标签： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45783164/article/details/104534099
版权
本文详细介绍了如何在集群环境中部署Hive，包括原生的Derby数据库和使用MySQL作为元数据存储的两种方式。在过程中，提到了遇到的MySQL安装、权限配置等问题及其解决方案，最后成功启动Hive并进行数据库操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

目录

一、hive安装----原生的数据库（可以简单的练手）

  1. 上传安装包
    用xshell上传安装包
    在这里插入图片描述

  2. 解压软件包
    [root@node01 softwares]# tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /export/servers/
    指定安装到目录 /export/servers/目录下

    查看一下：
    在这里插入图片描述

  3. 进入hive这个目录，修改配置文件
    在这里插入图片描述
    修改hive-env.sh.template—>直接复制一份叫hive-env.sh
    **[root@node01 conf]# cp hive-env.sh.template hive-env.sh

    vim hive-env.shl编辑
    在这里插入图片描述
    修改这一项，把注释#去掉，然后加上hadoop的绝对路径
    /export/servers/hadoop-2.6.0-cdh5.14.0（绝对路径–>pwd）
    在这里插入图片描述
    然后保存退出

  4. 用原生的hive的derby存放元数据–>不配置hive-site.xml

最低0.47元/天 解锁文章
Hive高可用性部署及管理
AI天才研究院
09-15 1208
随着企业对数据的需求越来越多、应用系统复杂度越来越高、数据量越来越大、业务规模越来越大、成本逐渐上升，传统数据仓库技术的部署越来越依赖于集群架构和资源，但同时也越来越受到“单点故障”、“脑裂”、“主备失效”等问题的困扰。Hadoop生态圈提供了一个比较完善的分布式计算框架，在实现数据分析、机器学习等场景中发挥着不可替代的作用。Hive作为Hadoop生态中非常重要的一部分，不仅可以用来进行复杂的数据查询，还可以通过MapReduce或者Spark等计算引擎将查询结果集转化为可视化、报表等形式。
Hive集群和MySQL搭建及使用手册（Hadoop单节点集群）
2401_86445632的博客
08-18 1432
Hive集群和MySQL搭建及使用手册（Hadoop单节点集群）
Hive集群环境搭建之本地模式（多用户模式）
qq_39131779的博客
10-25 886
文章目录搭建集群的模式有三种1. 源码包下载及解压2. 集群的环境3. MySQL服务端的设置3.1 安装Mysql服务端3.2 开启服务3.3 进入MySQL修改权限3.4 需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下4. 修改hive-site.xml文件(服务端的，即hive包所在的节点)5. 开启服务端的Metasrote服务6.客户端Hive源码包下载及解压6.1 ...
Hive在集群环境配置
程序猿-大城哥
11-04 2389
一、简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。二、环境要求1、JDK1.7+ 2、本次配置实例继续上次HBase配置完成后
查看集群中hive的版本
大数据技术杂谈
11-10 5137
hive没有提供hive --version这种方式查看版本号，所以要找到hive的jar包所在目录，然后查看jar包的版本号，来确认hive的版本， 或者在进入hive时通过查看加载的hive-common*.jar的版本来确认hive的版本： 或者：
hive mysql集群安装_hive集群模式安装
weixin_39705069的博客
02-01 103
hadoop3.2.0 完全分布式安装 hive-3.1.1#解压缩tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/local/#修改目录名称mv /usr/local/apache-hive-3.1.1-bin/ /usr/local/apache-hive-3.1.1vim /etc/profile#增加HIVE环境...
java hive集群_hive集群模式安装
weixin_35840387的博客
02-24 246
hive.exec.scratchdir #设置HDFS路径/usr/local/hive/iotmp/hivehive.downloaded.resources.dir #远程文件系统中添加资源的临时本地目录/usr/local/hive/iotmphive.exec.local.scratchdir #作业的本地暂存空间/usr/local/hive/iotmphive.querylog.lo...
hive集群部署
gamespiay123的博客
08-08 1869
hive集群部署
hive on spark集群环境部署（彻底摆脱做毕设没环境）
m0_64893323的博客
11-13 1387
hive on spark环境部署
(四)大数据生态圈集群搭建之 --Hive搭建的三种模式
七宝.博客
01-09 1275
Hive搭建Hive下载Hive搭建的三种模式(一)基于Derby的Local模式(二)基于MySQL的Local模式 Hive下载   Hive下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hive/, 选择想用的版本, 这里笔者使用apache-hive-1.2.1-src.tar.gz. 注意下载链接中只有1.2.2版本, 原因可能是老版...
CentOS下Hive2.0.0集群模式安装详解
Lnho的专栏
05-09 8133
本文环境如下： 操作系统：CentOS 6 32位 Hive版本：2.0.0 JDK版本：1.8.0_77 32位 Hadoop版本：2.6.4 1. 准备工作先完成CentOS下Hive2.0.0单机模式安装详解中的前三个步骤。 Hive和Hadoop一样，有3种启动模式，分别是单机模式，伪分布模式，分布模式。这里说一下分布模式（集群模式）的安装部署方案。 这边使用My
大数据之Hive 集群搭建 完整使用（第二章）
小坏说后端
09-01 5147
大数据之Hive 集群搭建 完整使用一、Hive 安装地址1、Hive 官网地址2、文档查看地址3、下载地址4、github 地址二、Hive 安装部署1、把下载的hive 包上传2、解压3、修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive-3.1.24、修改/etc/profile.d/my_env.sh，添加环境变量5、解决日志 Jar 包冲突6、初始化元数据库三、启动并使用 Hive1、启动 Hive2、使用 Hive3、在/tmp/atguigu 目录下监控 hiv
hive集群部署以及beeline和hive
微电子学与固体电子学-俞驰
05-26 1126
我们会发现一个奇怪的现象就是 hbase是一条命令可以启动整个集群的，但是hive却不是，这是怎么回事呢？ 因为hive只是一个SQL客户端而已。 数据并不在hive中，hive只是帮忙从hdfs->我们看到的数据做了一个SQL映射而已。 情况 方案 想在集群的datanode中通过hive查询数据 需要在namenode和datanode中分别部署和启动hive 只在集群的namenode中通过hive查询数据 只需要在n..
大数据8-Hive简介和集群搭建
deyu01的博客
09-30 472
1.Hive特点：      1.1可扩展性 ：Hive可以自由的扩展集群的规模，一般情况下不需要重启服务；      1.2延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数；      1.3容错：良好的容错性，节点出现问题，SQL仍可以完成执行。 2.HIve架构                 2.1基本组成：     用户接口：包括CLI、JDBC/...
一篇文章教会你搭建Hive分布式集群
热门推荐
qq_25409421的博客
09-20 1万+
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。在大数据技术生态体系中扮演着重要的角色，今天我们就通过一篇文章来教会你如何搭建部署Hive分布式集群。
大数据学习03-Hive分布式集群部署
Java721的博客
07-18 885
本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。
Hive搭建
luoyepiaoxue2014的博客
11-25 1888
Hive系列第二章
hive集群部署方案
最新发布
05-04
### Hive 集群部署方案与最佳实践 #### 一、Hive 集群概述 Hive 是一种建立在 Hadoop 上的数据仓库工具，用于简化大数据的 SQL 查询操作。它的核心功能是通过将 SQL 转化为 MapReduce 或 Tez 等计算框架的任务，在 Hadoop 分布式文件系统 (HDFS) 中执行复杂的数据分析工作[^1]。 #### 二、Hive 集群部署的关键要素 1. **元数据管理** - Hive 的元数据存储在一个独立的关系型数据库中，默认情况下使用的是嵌入式的 Derby 数据库。然而，Derby 只适合单用户环境下的开发和测试场景。生产环境中推荐使用 MySQL 或 PostgreSQL 来替代 Derby，以支持高并发访问[^3]。 2. **依赖包配置** - 在实际部署过程中，可能会遇到不同版本间的依赖冲突问题。例如，Hive 和 Hadoop 所使用的 Guava 库可能存在版本差异。解决方法是重命名冲突的 JAR 文件并替换为兼容版本的依赖项。 ```bash mv /opt/module/hive/lib/guava-19.0.jar /opt/module/hive/lib/guava-19.0.jar.bak cp /opt/module/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/ ``` 3. **HDFS 存储优化** - Hive 表的数据通常存储于 HDFS 中。为了提高性能，建议合理规划分区策略以及压缩算法的选择。对于大规模数据分析任务，启用 Snappy 或 Gzip 压缩可以显著减少磁盘 I/O 开销[^2]。 4. **计算引擎选择** - 默认情况下，Hive 使用 MapReduce 作为底层计算引擎。但对于更高效的批处理需求，可以选择 Apache Tez 或 Spark 替代传统 MapReduce。这些现代计算框架能够提供更低延迟和更高吞吐量的表现[^1]。 #### 三、Hive 集群的最佳实践 1. **分离 Metastore 服务** - 生产环境下应将 Hive 的 MetaStore 服务单独运行，并将其连接至外部关系型数据库实例（如 MySQL）。这样不仅可以提升系统的稳定性和扩展能力，还能更好地满足多客户端同时请求的要求[^3]。 2. **调整 JVM 参数** - 对于长期运行的服务进程来说，适当调优 Java 虚拟机参数至关重要。比如增大堆内存大小 (-Xmx)，设置合理的垃圾回收机制等措施均有助于改善整体表现。 3. **监控与日志记录** - 实施全面的日志管理和实时监控解决方案可以帮助快速定位潜在问题所在。利用开源工具链 ELK(Elasticsearch, Logstash, Kibana) 构建集中化的日志平台；借助 Ambari/Ganglia 进行资源利用率跟踪统计。 4. **权限控制** - 如果企业内部存在多个团队共享同一套 Hive 平台，则有必要引入细粒度的安全管控机制。可以通过 Ranger 插件定义基于角色的身份认证流程及对象级授权规则集。 5. **定期维护作业** - 定期清理过期的小文件碎片，合并小文件成大块以便后续读取效率最大化。另外还需注意周期性备份重要业务数据以防意外丢失风险发生。 ```sql -- 合并小文件示例脚本 INSERT OVERWRITE TABLE target_table SELECT * FROM source_table; ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值