Hive-1.2.1与HBase-1.1.2的整合

最新推荐文章于 2024-06-29 21:41:43 发布
最新推荐文章于 2024-06-29 21:41:43 发布
阅读量3.3k 收藏 1
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 大数据薪资分析项目(自建) 文章标签： hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011523533/article/details/50480608
本文介绍了如何整合Hive 1.2.1和HBase 1.1.2，将HBase作为Hive的数据存储库。在整合过程中遇到版本适配问题，解决办法是重新编译hive-hbase-handler-1.2.1.jar。详细步骤包括修改Hive的配置，将HBase的jar包添加到Hive的lib目录，以及在Eclipse中创建Java工程，导入源码和相关依赖，避免导入错误的pom文件，最后导出并替换Hive中的jar包。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive-1.2.1与HBase-1.1.2的整合

这里的整合是指，将HBase作为存储数据的库，由Hive作为连接桥梁

修改 Hive hive-site.xml

增加
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,slave1:2182,slave2:2183</value>
  </property>
  <property>

将HBase的以下jar包放到Hive的lib下

hbase-common-<
最低0.47元/天 解锁文章

200万优质内容无限畅学
hive中创建关联hbase表的几种方案
宝罗Paul 的博客
05-03 9710
【运行环境】hive-1.2.1    hbase-1.1.2【需求背景】有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询，也就是通过hive就能查到hbase里的数据。但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是：hbase中已经存在了一张表。既可以在hive中关联此表的...
hive-hbase-handler-1.2.1.jar
05-24
hive1.2.1融合hbase1.2.1,还需要的其他jar,请查看本人博客详细介绍
hive和hbase结合
ping的博客
06-24 346
摘要Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询使用1.从Hive中创建HBase表使用HQL语句创建一个指向HBase的Hive表CREATE TABLE hbase_table_1(key int, value string) //Hive中的表名hbase_table_1 STORED BY 'org.apa...
Hive和HBase
周红伟讲AI
10-11 292
一、两者的定义 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，它的本质就是将SQL语句转换为MapReduce任务进行运行。 HBase是一个高可靠性、高性能、面向列、可伸缩的一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为Java。 489034603 二、两者的特点 Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的.
hive和hbase的区别
weixin_30449239的博客
10-31 142
作者：有点文链接：https://www.zhihu.com/question/21677041/answer/185664626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 一、区别： Hba...
hadoop2.6.3-spark1.5.2-hbase-1.1.2-hive-1.2.1-zookeeper-3.4.6安装指南
10-25
在搭建大数据处理平台时，Hadoop是基础组件，而Hadoop 2.6.3、Spark 1.5.2、HBase 1.1.2、Hive 1.2.1和Zookeeper 3.4.6是常见的版本组合，这些组件的整合安装对于构建分布式计算环境至关重要。以下是对这些组件及其...
Linux下Hadoop 2.6.3 + Spark 1.5.2 + HBase 1.1.2 + Hive 1.2.1 + ZooKeeper 3.4.6 完整安装教程
本指南详细介绍了如何在Linux 64位系统上安装Hadoop 2.6.3、Spark 1.5.2、HBase 1.1.2、Hive 1.2.1和Zookeeper 3.4.6的整合环境，适用于搭建一个三节点（worker1、worker2、worker3）的集群。以下是安装步骤和注意...
hive与hbase
https://blog.youkuaiyun.com/sinat_36710456
10-22 1052
最近在学习和整理大数据hadoop的资料时，突然发现一个简单又复杂的问题：hive与hbase是什么关系？怎么区分？ 平时有接触和使用过hive和hbase，hive的话主要用的是阿里云的odps，hbase用的是hdp平台的开源版本，但是还没有 对这两个组件真正的系统的放在一起对比总结过，于是上网查了资料也问了同事，于是在这里再来写点自己的理解。 HIVE：  首先说说hive，众所...
Hive Hbase区别 转载整理
热门推荐
maixia24的专栏
11-05 2万+
Hive是為簡化編寫MapReduce程序而生的，使用MapReduce做過數據分析的人都知道，很多分析程序除業務邏輯不同外，程序流程基本一樣。在這種情況下，就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯表，就是些表的定義等，也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉，轉換成本低，類似作用的Pig就
HIVE和HBASE的整合
11-16
此文档是本人在工作中用到的知识总结出来的整合过程，本人是菜鸟，希望得到大神们的建议。
Hive 与 Hbase 的简单区别
天生我材必有用，千金散尽还复来
03-28 202
Hive是為簡化編寫MapReduce程序而生的，使用MapReduce做過數據分析的人都知道，很多分析程序除業務邏輯不同外，程序流程基本一樣。在這種情況下，就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯表，就是些表的定義等，也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉，轉換成本低，類似作用的Pig就...
Hive 与 Hbase的整合（四）
Stay Focused And Work Hard !!!
06-20 1643
Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类一、将hbase 下相关的jar包拷贝到/home/centosm/hive/lib文件夹下面,如果已存在不同版本的则删除hive中的再复制上去。 具体操作步骤如下：1、备份hive下的lib包： zip -r lib.zip lib2、将hbase
Hive、HBase对比【相同：HDFS作为底层存储】【区别：①Hive用于离线数据的批处理，Hbase用于实时数据的处理；②Hive是纯逻辑表，无物理存储功能，HBase是物理表，放非结构数据】
u013250861的博客
03-05 2855
1. Hive是hadoop数据仓库管理工具，严格来说，不是数据库，本身是不存储数据和处理数据的，其依赖于HDFS存储数据，依赖于MapReducer进行数据处理。2. Hive的优点是学习成本低，可以通过类SQL语句（HSQL）快速实现简单的MR任务，不必开发专门的MR程序。3. 由于Hive是依赖于MapReducer处理数据的，因此有很高的延迟性，不适用于实时数据处理（数据查询，数据插入，数据分析），适用于离线数据的。
【图解大数据技术】Hive、HBase
weixin_43889578的博客
06-29 1990
HBase是一个用于存储海量非结构化或半结构化数据的列示存储数据库，支持高性能写入，准实时查询。HBase底层基于HDFS实现了PB级别的海量数据存储。通过缓存和预写日志技术实现了高性能写入和低延迟查询。通过Zookeeper的监控通知HMaster故障转移实现了高可靠性。通HMaster接收RegionServer注册以及HMaster的RegionServer集群负载均衡能力实现高扩展性。
Hive和HBase基础
罗布泊coding
06-28 437
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 首先介绍一下Hive和hbase的区别： 1. 两者分别是什
Hive和HBase整合
天道酬勤的博客
11-09 4804
hive hbase 整合
hive和HBase的比较
破碎琉璃为哪般
12-03 299
Hive 1、数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以方便使用 HQL 去管理查询。 2、用于数据分析、清洗 Hive 适用于离线的数据分析和清洗，延迟较高。 3、基于HDFS，MapReduce Hive 存储的数据依旧在DataNode 上，编写的 HQL 语句终将是转换为MapReduce 代码执行。 HBase 1、数据库 ...
Logging initialized using configuration in jar:file:/opt/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
最新发布
05-12
<think>好的，我现在要解决用户关于Hive 1.2.1日志初始化配置的问题。用户提到的是配置log4j.properties文件，所以我需要回忆Hive的日志配置相关知识。首先，Hive使用Log4j来管理日志，所以在配置日志时，主要涉及修改log4j.properties文件。根据用户提供的引用，特别是引用[1]中的内容，用户可能在初始化Hive时遇到了日志配置的问题，例如路径或权限问题。 接下来，我需要确认Hive 1.2.1的默认日志配置位置。通常，Hive的日志配置文件位于conf目录下，如/usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties，这在引用[1]中提到了。用户可能需要编辑这个文件来调整日志级别、输出路径等。例如，将日志级别从INFO改为DEBUG，或者指定日志文件的存放目录。 另外，用户可能遇到日志文件无法写入的问题，这可能是因为日志目录的权限设置不正确，需要确保运行Hive服务的用户有权限写入指定的日志目录。在引用[3]中，用户提到使用nohup启动hiveserver2并将日志输出到/var/log下的文件，这说明用户可能希望将日志重定向到特定位置，但需要确保这些目录存在且有正确的权限。 还需要考虑Hive的不同组件，比如CLI、HiveServer2、Metastore等，是否有不同的日志配置。例如，HiveServer2的日志可能需要单独配置，或者在启动时通过参数指定日志输出，如引用[3]中的示例。同时，初始化Schema时的日志输出可能也需要关注，如引用[4]中的schematool命令，可能需要查看其日志来排查问题。 最后，要提醒用户修改配置后需要重启Hive服务以使配置生效。同时，建议用户检查日志文件的滚动策略和大小限制，避免日志文件过大。可能还需要提及如何启用异步日志记录，如引用[2]中的Log4j2特性，但Hive 1.2.1默认可能仍在使用Log4j 1.x，所以需要确认兼容性。</think>### Hive 1.2.1 日志初始化配置步骤 Hive 1.2.1 默认使用 Log4j 1.x 进行日志管理，其配置主要通过修改 `hive-log4j.properties` 文件实现。以下是具体配置方法： --- #### **1. 定位配置文件** Hive 的日志配置文件通常位于安装目录的 `conf` 子目录下： ```bash /usr/local/apache-hive-1.2.1-bin/conf/hive-log4j.properties ``` 若文件不存在，可通过模板创建： ```bash cp hive-log4j.properties.template hive-log4j.properties ``` --- #### **2. 关键配置项说明** 编辑 `hive-log4j.properties` 文件，以下是常用配置项： | 配置项 | 说明 | |-------------------------|----------------------------------------------------------------------| | `log4j.rootLogger` | 定义根日志级别和输出源（例如：`INFO,console,file`） | | `log4j.appender.file` | 日志文件输出配置（路径、格式、滚动策略） | | `log4j.appender.console`| 控制台输出配置 | | `log4j.logger.org.apache.hadoop` | Hadoop 组件日志级别（如 `WARN` 减少冗余日志） | **示例配置：** ```properties # 根日志级别为 INFO，输出到控制台和文件 log4j.rootLogger=INFO,console,file # 控制台输出配置 log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.Threshold=INFO log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{ISO8601} [%p] %c: %m%n # 文件输出配置（日志路径需确保可写权限） log4j.appender.file=org.apache.log4j.RollingFileAppender log4j.appender.file.File=/var/log/hive/hive.log log4j.appender.file.MaxFileSize=10MB log4j.appender.file.MaxBackupIndex=5 log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%p] %c: %m%n # 调整 Hive 元数据日志级别 log4j.logger.DataNucleus=WARN log4j.logger.org.apache.hadoop.hive.metastore=INFO ``` --- #### **3. 验证配置** - **重启 Hive 服务**：修改配置后需重启 HiveServer2 或 Metastore 服务。 - **检查日志输出**：查看 `/var/log/hive/hive.log` 是否生成并包含最新日志。 - **权限问题**：若日志未生成，检查目录权限： ```bash chmod 755 /var/log/hive && chown hive_user:hive_group /var/log/hive ``` --- #### **4. 高级配置（可选）** - **按组件分离日志**：为 HiveServer2、Metastore 配置独立日志文件。 - **动态调试**：临时调整日志级别（如启用 `DEBUG`）需注意性能影响[^2]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值