Sqoop 的简单使用案例

1、导入数据
在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS） 向大数据集群（HDFS， HIVE，HBASE） 中传输数据，叫做：导入，即使用 import 关键字。

1、 RDBMS 到 HDFS

1. 确定 Mysql 服务开启正常
2. 在 Mysql 中新建一张表并插入一些数据

mysql -uroot -p000000 
mysql> create database company;
mysql> use company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

3. 导入数据
   （1） 全部导入

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

（2） 查询导入

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

尖叫提示：must contain '$CONDITIONS' in WHERE clause
尖叫提示： 如果 query 后使用的是双引号，则$CONDITIONS 前必须加转移符，防止 shell识别为自己的变量。
尖叫提示： –query 选项， 不能同时与–table 选项使用

（3） 导入指定列

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

尖叫提示： columns 中如果涉及到多列，用逗号分隔，分隔时不要添加空格

（4） 使用 sqoop 关键字筛选查询导入数据

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

尖叫提示： 在 Sqoop 中可以使用 sqoop import -D property.name=property.value 这样的方式加入执行任务的参数，多个参数用空格隔开。

2、 RDBMS 到 Hive

 bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

尖叫提示： 该过程分为两步，第一步将数据导入到 HDFS，第二步将导入到 HDFS 的数据迁移到 Hive 仓库
尖叫提示： 第一步默认的临时目录是/user/admin/表名

2、导出数据
在 Sqoop 中，“导出”概念指：从大数据集群（HDFS， HIVE， HBASE） 向非大数据集群（RDBMS） 中传输数据，叫做：导出，即使用 export 关键字。

1、 HIVE/HDFS 到 RDBMS

bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

尖叫提示： Mysql 中如果表不存在，不会自动创建

3、 脚本打包
使用 opt 格式的文件打包 sqoop 命令，然后执行
1 创建一个.opt 文件

mkdir opt
touch opt/job_HDFS2RDBMS.opt

2 编写 sqoop 脚本

vi opt/job_HDFS2RDBMS.opt
export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
000000
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

3 执行该脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt