Hbase和Hive整合，Hive读Hbase的表内容

最新推荐文章于 2022-09-20 20:19:23 发布
置顶 最新推荐文章于 2022-09-20 20:19:23 发布
阅读量1.8k 收藏 9
点赞数 13
分类专栏： Bigdata HDFS Hbase HIve 文章标签： Hbase Hive Hadoop zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40305538/article/details/80915108
版权
本文介绍了如何将Hive与Hbase整合，以便在Hive中读取Hbase表的内容。首先，删除并替换Hive和Hbase库中的不匹配jar包，然后在Hbase的lib目录下添加hive-hbase-handler.jar。接着，更新hive-site.xml和hive-env.sh配置文件，启动Hive服务。最后，通过创建Hive外部表并映射Hbase表成功实现了数据读取。然而，在Beeline中查询Hive表时遇到了错误，期待解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >




经过一下午，终于测试成功。
前期：Hapood平台、Zookeeper、Hbase、Hive都安装好。（安装可以参考其它资源）
本Demo版本：jdk1.8.0_171，hadoop-2.7.3，zookeeper-3.4.9，mysql-5.6.40-linux-glibc2.12-x86_64，hbase-1.2.4，apache-hive-2.1.1-bin
root@master lib]# echo $HADOOP_HOME
/application/software/hadoop-2.7.3
[root@master lib]# echo $HBASE_HOME
/application/software/hbase-1.2.4
[root@master lib]# echo $HIVE_HOME
/application/software/apache-hive-2.1.1-bin

1. 将Hive安装目录lib中的相关：.jar包删除，并Hbase的lib的相应该.jar包到Hive

通过两张图可以看出版本不一致。

下图为Hive的lib库：

</

最低0.47元/天 解锁文章
hbase和Hive的整合
大数据容器
06-02 1079
hbase和Hive的整合 1.原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。 Hive 访问 HBase ...
Hbase和Hive的整合
weixin_46606519的博客
04-15 2106
1、版本 hive-1.2.1 hbase-1.2.1 2、需准备 重新编译目录apache-hive-1.2.1-bin/lib下的hive-hbase-handler-1.2.1.jar 编译方法此处省略，提供现成已编译好的hive-hbase-handler-1.2.1.jar 链接：https://pan.baidu.com/s/1Rof67IhMdvnUplEHZubTZQ 提取码：l719 3、替换apache-hive-1.2.1-bin/lib/的hive-hbase-hand.
HIVE和HBASE的整合
11-16
此文档是本人在工作中用到的知识总结出来的整合过程，本人是菜鸟，希望得到大神们的建议。
使用hive读取hbase数据
热门推荐
东杰书屋
03-06 2万+
Mapr框架安装完后，安装与配置hbase、hive。 其中mapr框架的安装路径为/opt/mapr Hbase的安装路径为/opt/mapr/hbase/hbase-0.90.4 Hive的安装路径为/opt/mapr/hive/hive-0.7.1 整合hive与hbase的过程如下： 1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4
使用Hive读取Hbase中的数据
victorzhzh
03-23 472
第一步，启动hadoop，命令：./start-all.sh 第二步，启动hive，命令： ./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6...
Hive整合HBase——通过Hive读/写 HBase中的表
06-04 1万+
写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。写在前面二：使用软件说明：约定所有软件的存放目录：/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0
hive读取Hbase的数据
JasonChen3318的博客
07-27 701
1、文档(不会的直接找文档最方便) HBaseIntegration 2、拷贝jar文件 2.1 将Hbase/bin目录下面文件拷贝到Hive/bin目录下 cd /home/hbase/lib cp ./* /home/hive/lib 2.2把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的lib目录下面 cp /...
HBase与hive整合 和 hive与hdfs结合的效率对比1
08-08
Hive通过HBaseStorageHandler获取HBase表的相关信息，如表名、列簇和列，以及InputFormat和OutputFormat类，从而在MapReduce作业中读写HBase表。具体来说，Hive的查询会被转化为MapReduce任务，其中...
HBase与hive整合
bitmao888的博客
05-22 1371
文章目录HBase与hive的对比HiveHBase总结：Hive与HBasehive与HBase的整合需求一：将hive分析结果的数据，保存到HBase当中去第一步：拷贝hbase的五个依赖jar包到hive的lib目录下第二步：修改hive的配置文件第三步：修改hive-env.sh配置文件添加以下配置第四步：hive当中建表并加载以下数据第五步：创建hive管理表与HBase进行映射第六步：hbase当中查看表hbase_score需求二：创建hive外部表，映射HBase当中已有的表模型，直接通过第
Hbase整合Hive
m0_45847655的博客
09-20 864
Hbase整合Hive
(Hive与HBase集成)hive读取分析hbase表的数据
07-12 1034
需求：在hbase上已经有数据了，我们需要将数据放到hive中进行分析处理 1、启动环境 a.启动hadoop集群 sbin/start-all.sh b.启动zookeeper集群 zkServer.sh start c.启动hbase cd hbase bin/start-hbase.sh ./hbase shell list -- 查看表 d.启动hive cd /opt/hive/bin ./hive 2、新建hbase表 classes: create 'classes','user'
hive实现整合hbase
qq_30868737的博客
10-22 429
1.hbase与hive哪些版本兼容？ hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容，不需要自己编译。 重点注意：hive 1.x 与 hbase 1.x整合时，需要自己编译 2.连接和使用Hive： 1.第一种方式： /usr/bin/hive 为连接打开Hive操作界面的快捷方式 因此只需要
Hbase 和 hive 的整合
u013111855的博客
03-14 488
Hbase 和 hive 的关联
Hive整合Hbase详解
林夕
07-09 1万+
Hive 整合Hbase1、摘要Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景2.1 将ETL操作的数据存入HBase  2.2 HBase作为Hive的数据源  2.3 构建低延时的数据仓库 3、环境准备3.1 hive与hbase版本兼容性Hive...
基于业务流程完成Hive与HBase的集成
蔡政洁的博客
07-18 333
目录第一步第二步第三步 第一步 在hive-site.xml文件中配置zookeeper，hive通过这参数的配置去连接HBase <property> <name>hbase.zookeeper.quorum</name> <value>node1,node2,node3</value> </property> 第二步 将HBase中的9
Hive和Hbase整合
KamRoseLee的博客
11-19 489
Hive和Hbase同步 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1、把hive-hbase-handler-1.2.1.jar  cp到hbase/lib 下     同时把hbase中的所有的jar，cp到hive/lib 2、在hive的配置文件增加属性：   &lt;property&gt;  ...
Hive HBase 整合(中文)
随视云平台
08-31 926
hive hbase整合，要求比较多，1.hive的得是0.6.0（当前最新的版本）  2.hive本身要求hadoop的最高版本是hadoop-0.20.2  3.要求hbase的版本是0.20.3，其他版本需要重新编译hive_hbase-handler  但是新版的h
【配置】Hive整合HBase
ZoeYen_
12-17 722
一、配置1.将HBase相关jar包拷贝到hive的lib目录下2.修改hive-site.xml配置文件①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。②修改hive.zookeeper.quorum属性。③添加hbase.zookeeper.quorum属性。3.修改hive-env.sh配置文件copy一份模板文件修改4.启动hive 123
hive删除hbase数据_Hive读取hbase数据
weixin_39878716的博客
01-13 161
Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下：1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar 与/opt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值