sqoop数据迁移脚本（导入，导出 mysql,oracle等）

桔梗的犬夜叉

已于 2022-08-09 15:38:26 修改

阅读量1.3k

点赞数

分类专栏： Sqoop 文章标签： sqoop oracle 数据迁移

于 2021-04-14 16:19:48 首次发布

本文链接：https://blog.youkuaiyun.com/LL9504/article/details/115701322

版权

本文介绍了如何使用sqoop进行数据迁移，包括从oracle数据库导入数据到hive，将hive中的数据导出到mysql，以及利用sqoop执行sql语句进行数据操作。详细步骤涵盖各个阶段的配置和命令执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.oracle导入到hive脚本

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  import

--username admin

--password '123XXX'

--connect jdbc:oracle:thin:@192.168.12X.1X:1521/数据库名

--fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--delete-target-dir

--target-dir /hdfs/tmp/data/tablename

--hive-drop-import-delims

--query "select id,name,age from LL_test where 1=1 AND \$CONDITIONS"

--split-by id -m 1;

2.hive导出数据到mysql

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  export

-Dorg.apache.sqoop.export.text.dump_date_on_error=true

--username admin

--password '123XXX'

--connect jdbc:mysql://192.168.12X.1X:3306/数据库名

--input-fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--input-null-non-string '\\N'

--table LL_test

--export-dir /hdfs/tmp/data/tab