Hbase和Hive整合

原创于 2022-08-24 15:41:20 发布 · 1.2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hbase #大数据

大数据专栏收录该内容

45 篇文章

订阅专栏

本文介绍了如何将Hive与HBase进行环境整合，包括配置环境变量、导入HBase相关jar包到Hive，以及修改配置文件。接着，通过创建Hive表并关联HBase表，实现了数据的同步。在Hive中插入数据的同时，HBase表也会相应更新。详细步骤包括创建中间表、导入数据和将数据从中间表插入到关联的Hive-HBase表中。

一、环境整合

1.1、环境配置

执行命令vi /etc/profile 配置hive和hbase的环境变量

1.2、导入依赖

由于 Hive 要连接到 HBase, 所以 Hive 需要知道 HBase 的一些jar 包，所以在 hive-env.sh 中添加一行如下配置:

export HIVE_AUX_JARS_PATH=/data/soft/hbase-2.3.2/lib

或是直接把jar拷贝到hive包/lib里面

cp /data/soft/hbase-2.3.2/lib/hbase-common-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-server-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-client-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-protocol-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-it-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-hadoop2-compat-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

cp /data/soft/hbase-2.3.2/lib/hbase-hadoop-compat-2.3.2.jar  /data/soft/apache-hive-3.1.2-bin/lib

1.3 修改相关配置文件

1.4 启动相关服务

二、关联Hive和HBase数据

建立 Hive 表，关联 HBase 表，插入数据到 Hive 表的同时能够影响 HBase表。

2.1 在 Hive 中创建表同时关联 HBase

CREATE TABLE hive_hbase_emp_table(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

其中 org.apache.hadoop.hive.hbase.HBaseStorageHandler 类主要用于将hive与hbase关联，在hivez中创建的表会映射到hbase数据库中

在 Hive 和 HBase 中分别查看是否生成了相应的表.

2.2 创建Hive 临时中间表

由于不能将数据直接插入与hbase关联的hive表中，所以需要创建中间表

CREATE TABLE emp_tmp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int
)
row format delimited fields terminated by '\t';

把数据导入临时表中

load data local inpath '/data/soft/hivedata/emp.txt' into table emp_tmp

2.3 通过insert命令将临时中间表的数据导入到hive_hbase_emp_table中

insert into table hive_hbase_emp_table select * from emp_tmp

2.4 查看数据是否同步

Hive : select * from hive_hbase_emp_table;

HBase: scan 'hbase_emp_table'