sqoop数据迁移脚本（导入，导出 mysql,oracle等）

原创

已于 2022-08-09 15:38:26 修改 · 1.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop #oracle #数据迁移

于 2021-04-14 16:19:48 首次发布

本文介绍了如何使用sqoop进行数据迁移，包括从oracle数据库导入数据到hive，将hive中的数据导出到mysql，以及利用sqoop执行sql语句进行数据操作。详细步骤涵盖各个阶段的配置和命令执行。

1.oracle导入到hive脚本

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  import

--username admin

--password '123XXX'

--connect jdbc:oracle:thin:@192.168.12X.1X:1521/数据库名

--fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--delete-target-dir

--target-dir /hdfs/tmp/data/tablename

--hive-drop-import-delims

--query "select id,name,age from LL_test where 1=1 AND \$CONDITIONS"

--split-by id -m 1;

2.hive导出数据到mysql

/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop  export

-Dorg.apache.sqoop.export.text.dump_date_on_error=true

--username admin

--password '123XXX'

--connect jdbc:mysql://192.168.12X.1X:3306/数据库名

--input-fields-terminated-by '\001'

--null-non-string '\\N'

--null-string '\\N'

--input-null-non-string '\\N'

--table LL_test

--export-dir /hdfs/tmp/data/tablename

 -m 1;

如果导出到oracle只需要换下 --connect 后面的oracle配置信