数据从Postgresql导入Hbase中

使用Sqoop导入PostgreSQL数据到HBase

最新推荐文章于 2025-07-24 17:30:37 发布

weixir123

最新推荐文章于 2025-07-24 17:30:37 发布

阅读量713

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 java

本文链接：https://blog.youkuaiyun.com/weixir123/article/details/84525703

本文介绍如何通过Sqoop工具将PostgreSQL数据库中的数据导入到HBase表中，包括配置连接参数、指定查询语句及HBase表结构等关键步骤。

下载sqoop
下载Postgresql jdbc驱动，拷入sqoop下lib中

执行

sqoop import --connect jdbc:postgresql://172.16.1.141:5432/DB_SERVER --query "SELECT id,concat(f_mmsi,to_char(f_updatetime, 'YYYYMMHH12MISS')) as trackid,f_mmsi as mmsi,f_cog as cog,f_nav_status as navStatus,f_heading as heading,f_sog as sog,f_updatetime as updateTime,f_lon as lon,f_lat as lat FROM  t_szhk_track_data WHERE \$CONDITIONS" --hbase-table tablename --column-family info  --split-by id --hbase-row-key trackid --hbase-create-table --username postgres --password postgres