Sqoop工作流程

1.简介Sqoop
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2.Sqoop的特点
Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

Sqoop的工作流程
1）读取导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop
2）设置job
3）Hadoop执行import命令，开启MR
1 对数据进行切分
2 切分好范围，写入范围
3 读取写入的范围
4）创建RecordReader，从数据库读取数据
5）创建map
6）RecordReader从数据库中一行行读取数据，设置好key，value，交给map
7）运行map