Sqoop全量和增量导入数据到Oracle数据库

最新推荐文章于 2022-11-24 17:22:41 发布

邹中凡

最新推荐文章于 2022-11-24 17:22:41 发布

阅读量5.9k

点赞数

分类专栏： Hadoop 文章标签： Sqoop

本文链接：https://blog.youkuaiyun.com/freedomboy319/article/details/49815819

版权

Hadoop 专栏收录该内容

24 篇文章

订阅专栏

1，全量导入
示例：
–全量导入
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –hive-overwrite
2，追加导入
示例：
–追加导入
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp

3，增量导入
Sqoop提供了原生增量导入的特性，包含以下三个关键参数：
1）–check-column (col) 指定一个“标识列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型
2）–incremental (mode) 指定增量模式，包含“追加模式” append 和“最后修改模式” lastmodified
3）–last-value (value) 指定“标志列”上次导入的上界。
如果“标识列”是最后修改时间，则–last-value为上次执行导入脚本的时间

–增量导入 append模式示例：
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –incremental append –check-column ID –last-value 3

–增量导入 lastmodified模式示例：
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –incremental lastmodified –check-column LASTMODIFIED –last-value –last-value ‘2015-04-14 13:00:00’