数据从Postgresql导入Hbase中

最新推荐文章于 2023-06-26 17:57:14 发布

原创最新推荐文章于 2023-06-26 17:57:14 发布 · 722 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #大数据 #java

本文介绍如何通过Sqoop工具将PostgreSQL数据库中的数据导入到HBase表中，包括配置连接参数、指定查询语句及HBase表结构等关键步骤。

下载sqoop
下载Postgresql jdbc驱动，拷入sqoop下lib中

执行

sqoop import --connect jdbc:postgresql://172.16.1.141:5432/DB_SERVER --query "SELECT id,concat(f_mmsi,to_char(f_updatetime, 'YYYYMMHH12MISS')) as trackid,f_mmsi as mmsi,f_cog as cog,f_nav_status as navStatus,f_heading as heading,f_sog as sog,f_updatetime as updateTime,f_lon as lon,f_lat as lat FROM  t_szhk_track_data WHERE \$CONDITIONS" --hbase-table tablename --column-family info  --split-by id --hbase-row-key trackid --hbase-create-table --username postgres --password postgres