sqoop增量更新使用问题

最新推荐文章于 2025-05-31 20:00:00 发布

ych.wei

最新推荐文章于 2025-05-31 20:00:00 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： sqoop hadoop hive

本文链接：https://blog.youkuaiyun.com/qq_24046203/article/details/84068109

本文介绍了如何使用sqoop进行增量更新数据到Hive中，重点讨论了append和lastmodified两种模式。append模式通过指定自增列和基准值实现，而lastmodified模式则依据更新时间进行增量导入，支持追加和合并两种方式。在lastmodified模式下，--merge-key用于数据合并，需注意命令行参数的位置以确保正确执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用sqoop增量更新数据到hive中，使用参数–increment，–check-column 指定增量更新的基准列，–last-value为更新比较值。

sqoop增量更新有两种模式，append和lastmodified，其中，append为根据递增列更新数据，lastmodified为根据更新时间进行增量更新。

1、append模式

append模式比较简单，只需要指定一个自增列即可，比如id，还需要设置一个基准值，比如100，那么增量导入时只会导入id大于100的记录。

 sqoop import --connect CONNECTOR --username USERNAME --password PASSWORD --fetch-size 1000\
        -m 1 --check-column id --incremental append --last-value 100 --append --target-dir dir  \
        --query "select * from table_name where condition" \
        --fields-terminated-by "\\01" \
        --hive-drop-import-delims \
        --null-string '\\N'\
        --null-non-string '\\N'

“–check-column id --incremental append --last-value 100” 要放到查询条件（–target-dir --query）之前。