Sqoop增量导入注意事项 incremental lastmodified与target-dir连用报错 Imported Failed: Wrong FS

最新推荐文章于 2022-10-20 16:16:14 发布

原创

最新推荐文章于 2022-10-20 16:16:14 发布 · 2.8k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop增量导入注意事项

本文详细解析了使用Sqoop进行增量数据导入的过程，包括错误处理、参数配置与最佳实践。重点介绍了--incrementallastmodified参数的正确使用方法，以及如何避免常见的错误提示，如目录存在错误和合并键需求。

[root@hadoop01 flume-1.9.0]# sqoop job --create my1jobs -- import --connect jdbc:mysql://hadoop01:3306/test \
> --username root --password root \
> --driver com.mysql.jdbc.Driver \
> --table testlast \
> -m 1 \
> --incremental lastmodified \
> --check-column lastmodify \
> --last-value '2019/09/20 14:39:00' \
> --target-dir hdfs://ali:8020//user/hive/warehouse/guli.db/testlast

1.ERROR tool.ImportTool: Imported Failed: Wrong FS:

19/09/21 15:21:24 ERROR tool.ImportTool: Imported Failed: Wrong FS: hdfs://ali:8020/user/hive/warehouse/guli.db/testlast, expected: hdfs://ali

去掉hdfs://ali:8020 前缀

–target-dir 本来就是指定的hdfs的目录

sqoop job --create my1jobs -- import --connect jdbc:mysql://hadoop01:3306/test \
--username root --password root \
--driver com.mysql.jdbc.Driver \
--table testlast \
-m 1 \
-