Sqoop数据迁移-优快云博客

Sqoop命令

全量导入

bin/sqoop import \ (输入命令)
--connect jdbc:mysql://hadoop102:3306/testdb \ (指定连接jdbc端口和数据库名称)
--username root \ (数据库用户名)
--password 000000 \ (密码 若不适用明文指定数据库密码 则可以用-P)
--table user \ (指定数据库中的一张表)
--target-dir /input/import \ (指定数据导入到HDFS上的目录)
--delete-target-dir \ //如果目标目录已存在，则先删除
--num-mappers 1 \ (指定使用导入数据的map个数,mapreduce(V1)中的方式可以用-m 1 代替(过时))
--fields-terminated-by "," (目标文件的分隔符, 默认情况下,导入HDFS的每行数据分隔符是逗号)

部分字段导入

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/sqoop \
--username root \
--password 000000 \
--table user \
--columns "id,account" \
--target-dir /sqoop/query1 \
-m 1 \
--delete-target-dir \
--fields-terminated-by "\t"

查询导入

$sqoop import \
--connect jdbc:mysql://hadoop102:3306/gmall \
--username root \
--password 000000 \
--target-dir /origin_data/gmall/db/$1/$do_date \
--delete-target-dir \
--query "$2 and  \$CONDITIONS" \ （查询语句）
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'

增量导入

–check-column (col)

用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似。

注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时-- check-column可以去指定多个列。

–incremental (mode)

append：追加，比如对大于last-value指定的值之后的记录进行追加导入。

lastmodified：最后的修改时间，追加last-value指定的日期之后的记录

–last-value (value) ：指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值

Append 模式

注意：
1.--append and --delete-target-dir can not be used together.
2.--check-column 不是使用CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHAR这样的数据类型,后面跟 唯一 不重复的列 类似主键
3.--incremental 支持两种模式
append 告诉sqoop是整型数据自增长的方式来区分从哪里开始增量导入
lastmodified 告诉sqoop是最后一次修改文件的时间戳来区分从哪里开始增量导入
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 000000 \
--table sqoop_test \
--num-mappers 1 \
--target-dir /user/bigdata/input \
--fields-terminated-by "," \
--check-column id \ 
--incremental append \ 
--last-value  1207 \

测试

在mysql数据库中创建表，插入数据：

CREATE TABLE  sqoop_test(id int(11),
     name VARCHAR(25),
     deg VARCHAR(25),
     salary FLOAT ,
		 dept VARCHAR(25)
     );
insert into `test`.`sqoop_test` (`id`, `name`, `deg`, `salary`, `dept`) values ('1208', 'allen', 'admin', '30000', 'tp');

insert into `test`.`sqoop_test` (`id`, `name`, `deg`, `salary`, `dept`) values ('1209', 'woon', 'admin', '40000', 'tp');

LastModified模式

lastModified:append

bin/sqoop import \

--connect jdbc:mysql://node-1:3306/userdb \

--username root \

--password hadoop \

--table customertest \

--target-dir /lastmodifiedresult \

--check-column last_mod \

--incremental lastmodified \

--last-value "2019-05-28 18:42:06" \

--m 1 \

--append

lastmodified模式去处理增量时，会将大于等于last-value值的数据当做增量插入

Lastmodified 模式:merge-by

使用lastmodified模式进行增量处理要指定增量数据是以****append*模式(附加)还是*merge-key****(合并)模式添加

bin/sqoop import \

--connect jdbc:mysql://node-1:3306/userdb \

--username root \

--password hadoop \

--table customertest \

--target-dir /lastmodifiedresult \

--check-column last_mod \

--incremental lastmodified \

--last-value "2019-05-28 18:42:06" \

--m 1 \

--merge-key id

导出

updateonly模式

– update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。

– updatemod，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。

代码：

bin/sqoop export \

--connect jdbc:mysql://hadoop:3306/userdb \

--username root \

--password 000000 \

--table updateonly \

--export-dir /updateonly_2/ \

--update-key id \

--update-mode updateonly

allowInsert模式

– update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。

– updatemod，指定allowinsert，更新已存在的数据记录，同时插入新纪录。实质上是一个insert & update的操作。

bin/sqoop export \

--connect jdbc:mysql://Hadoop102:3306/userdb \

--username root --password 000000 \

--table allowinsert \

--export-dir /allowinsert_2/ \

--update-key id \

--update-mode allowinsert