sqoop使用,从hive向oracle导入数据

本文详细介绍了如何使用sqoop从Hive数据仓库将数据导出到Oracle数据库,包括导出的基本步骤、注意事项以及如何利用staging表进行数据分段。示例中展示了使用nohup命令执行导出作业,并强调了在有约束的表中插入或更新数据时需谨慎操作。

author: lf

sqoop export 使用说明

--export-dir 和 (--table--call中的一个)是必须的。

指定了将要填充的表(或将要调用的存储过程),以及hdfs包含资源数据的目录

--columns
默认将查询出表中所有的字段。通过这个参数可以选择列的子集并控制它们的顺序,使用逗号分割,例如:–columns “col1,col2,col3”。
注意,columns参数中不能包含需要默认值的列以及允许空值的列

--num-mapper--m
默认Sqoop使用四个任务并行处理。这可能不是最优的,可以根据实验的实际情况,进行设置。
该设置控制map的任务数(使用的并行程度)。

--direct
一些数据提供了直接模式,这种模式可能比标准的JDBC模式性能更好

--input-null-string--input-null-non-string 是可选的
如果--input-null-string没有指定,那么对于字符类型的列,字符串“null”将被解释为null;
如果--input-null-non-string没有指定,那么对于非字符类型的列,字符串"null"和空字符串将被解释为null;
注意:对于非字符类型的列,空字符传总是被解释为null。

--staging-table
Sqoop将一个导出过程切分成多个事务,一个失败的导出作业,可能会导致部分的数据提交到数据库中,这可能会由于插入冲突导致后续的任务失败,或者导致数据重复。
--

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值