HBase数据与Hive映射

最新推荐文章于 2024-06-28 12:43:09 发布

bigdataCoding

最新推荐文章于 2024-06-28 12:43:09 发布

阅读量690

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/UnionIBM/article/details/82776020

大数据专栏收录该内容

36 篇文章

订阅专栏

本文介绍如何使用Hive Shell命令创建外部表来映射HBase表，实现从HBase到Hive的数据访问。具体步骤包括设置存储处理器、序列化属性及表属性等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：需要将HBase中表某列的值抽取到hive中，在hive中进行ETL的处理

在hive shell中执行如下命令

CREATE EXTERNAL TABLE hbase_table_1(key int, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");

至此其实并没有将HBase的数据迁移到Hive中，或者说是物理迁移（将HBase中的数据拷贝至Hive文件系统，并生成相应文件），只是在Hive中建了一个与HBase表有一一映射的关系表（如果熟悉关系型数据库的，可以把这种映射关系理解为关系型数据库间的DBLink。），通过Hive这个表你可以进行查询、新增，但是不能做修改、删除操作