sqoop任务实现mysql数据导入Hive

本文详细介绍使用SQOOP从PostgreSQL导入数据到Hive的数据仓库过程,包括具体语句和参数配置,如连接字符串、查询条件、目标目录设置等。强调了在使用query参数时,应注意使用双引号及特殊字符转义。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

版本四sqoop语句:

sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/xxxxxxdb
–username xxxxxx --password xxxxxxxx
–query "select id,check_code,lastupdatetime,check_num,report_name,json_object_keys(reportinfo) from check_report where reportinfo::Text<>‘null’ and \$CONDITIONS "delete-target-dir
–target-dir /user/hive/warehouse/lmj_test.db/mid_yyts_report_analyze
–fields-terminated-by ‘\001’
–null-string ‘’
–null-non-string ‘’
-m1

-m1一个mapreduce
结论
也就是说,当我们用sqoop,并且采用query的时候,我们最好使用双引号,而且如果有where语句,必须加上“\CONDITIONS”,注意有“\”

参考原文csdn链接:
https://blog.youkuaiyun.com/IKnowNothinglee/article/details/90640912

sqoop一些常用命令及参数
https://www.cnblogs.com/alexzhang92/p/10927884.html

sqoop使用手册
https://www.cnblogs.com/xiaodf/p/6030102.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值