Sqoop将MySQL和Oracle的数据导入HIVE和Hbase

最新推荐文章于 2024-12-12 08:00:00 发布

原创最新推荐文章于 2024-12-12 08:00:00 发布 · 392 阅读

0 ·

CC 4.0 BY-SA版权

hive 同时被 3 个专栏收录

2 篇文章

订阅专栏

hbase

1 篇文章

订阅专栏

sqoop

1 篇文章

订阅专栏

本文详细介绍了如何使用SQLoop将MySQL、Oracle、HBase数据导入Hive，并探讨了覆盖与追加两种导入方式的区别。对于大数据处理场景，提供了一套高效的数据整合流程。

HIVE

MYSQL

//覆盖方式

sqoop import --connectjdbc:mysql://192.168.0.105:3306/hi_bigdata --username root --password root --hive-import --table snapinfo --hive-table snapinfo --hive-overwrite -m 1 --input-fields-terminated-by '|'

//追加方式

sqoop import --connectjdbc:mysql://192.168.0.105:3306/hi_bigdata --username root --password root --hive-import --table snapinfo --hive-table snapinfo -m 1--input-fields-terminated-by '|'

ORACLE

//oracle的用户名，表名，字段名最好定义为大写

//覆盖方式

sqoop import --connectjdbc:oracle:thin:@192.168.0.105:1521:abc --username WU --password 123456 --hive-import --table KANG --hive-table kang --hive-overwrite -m 1--input-fields-terminated-by '|'

//追加方式

sqoop import --connect jdbc:oracle:thin:@192.168.0.105:1521:abc--username WU --password 123456--hive-import --table KANG --hive-table kang -m 1 --input-fields-terminated-by '|'

HBASE

MYSQL

//追加

sqoop import-D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.0.105/hi_bigdata--username root --password root--verbose -m 1 --table snapinfo --hbase-create-table --hbase-table snapinfo--column-family cf1 --hbase-row-key id

ORACLE

//oracle的用户名，表名，字段名最好定义为大写

// 追加

sqoop import -Dsqoop.hbase.add.row.key=true --connect jdbc:oracle:thin:@192.168.0.105:1521:abc--username WU --password 123456--verbose -m 1 --table AAA --hbase-create-table --hbase-table AAA --column-family cf1 --hbase-row-keyACCT_NO