sqoop+crontab（mysql表定期导入到hive）

最新推荐文章于 2023-03-07 16:11:15 发布

奋斗的小蚁

最新推荐文章于 2023-03-07 16:11:15 发布

阅读量536

点赞数

分类专栏： sqoop 大数据cdh平台

本文链接：https://blog.youkuaiyun.com/qq_30552441/article/details/94137350

版权

本文介绍了如何通过sqoop创建job并配合crontab实现MySQL表的定期增量导入到Hive。详细阐述了sqoop导入参数的设置，如--password-file、--incremental append等，并提到了增量导入的注意事项，以及如何在crontab中设置定时任务来自动化该过程。同时，文章强调了权限问题以及创建Hive外部表的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

执行命令

sqoop job --create todbincrementjob -- import \
--connect jdbc:mysql://xx.xx.xx.xx:3306/iepdb \
--username xxxxx_iep \
--password-file /user/train/password.file \ 
--target-dir /tmp/mysqldb/hs_xxx_report \
--table hs_xxx_report \
--fields-terminated-by "\t" \
--lines-terminated-by "\n" \
--null-string '\\N' \
--null-non-string '\\N' \
--incremental append \
--as-parquetfile \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--check-column id \
--last-value 1 \
-m 1

sqoop job --create todbincrementjob – import --connect jdbc:mysql://xx.xx.xx.xx:3306/iepdb --username xxx_iep --password-file /tmp/pwd/14mysql.pwd --target-dir /tmp/mysqldb/hs_xxx_report --table hs_forecast_report --fields-terminated-by “\t” --lines-terminated-by “\n” --null-string ‘\N’ --null-non-string ‘\N’ \ --incremental append --as-parquetfile --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --ch