使用Datax将Hive(分区表)数据导入到Hbase

最新推荐文章于 2024-08-15 04:04:43 发布

_猫屎不是咖啡_

最新推荐文章于 2024-08-15 04:04:43 发布

阅读量1.8k

点赞数

分类专栏： Datax 数据同步插件文章标签： hbase hive

本文链接：https://blog.youkuaiyun.com/pengdixi/article/details/113247626

版权

本文介绍了如何使用Datax将基于Phoenix5.x和HBase2.x的Hive分区表数据导入到Hbase。教程强调了几个限制条件，如必须启动QueryServer服务，仅支持Phoenix创建的表，不支持时间戳数据导入。同时，详细说明了安装Datax的步骤，特别是针对Phoenix5.x写操作需要重新编译安装hbase20xsqlwriter插件，并展示了通过动态参数指定分区信息的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 限制

要求版本为Phoenix5.x及HBase2.x
仅支持通过Phoenix QeuryServer导入数据，因此您Phoenix必须启动QueryServer服务才能使用本插件
不支持清空已有表数据
仅支持通过phoenix创建的表，不支持原生HBase表
不支持带时间戳的数据导入

2. 安装Datax

详情见官方文档：https://github.com/alibaba/DataX/blob/master/userGuid.md
注意：本教程分别使用了 ”hive读“、”Phoenix5.x写“，但是安装后的”plugin“中不包含 ”Phoenix5.x写“需要的插件：hbase20xsqlwriter，所以要重新编译安装对应插件：

[root@ttt ~]# git clone https://github.com/alibaba/DataX.git
Cloning into 'DataX'...
remote: Enumerating objects: 7, done.
remote: Counting objects: 100% (7/7), done.
remote: Compressing objects: 100% (7/7), done.
remote: Total 1657 (delta 1), reused 4 (delta 0), pack-reused 1650
Receiving objects: 100% (1657/1657), 11.55 MiB | 113.00 KiB/s, done.
Resolving del