Sqoop 数据迁移工具 --6.Sqoop 导入导出的原理剖析

1、Sqoop 导入原理 

从上面的演示例子中，我们大致能得出一个结论，sqoop 工具是通过 MapReduce 进行导入 作业的。总体来说，是把关系型数据库中的某张表的一行行记录都写入到 hdfs 

下面给大家奉上一张原理图： 

上面这张图大致解释了 sqoop 在进行数据导入工作的大致流程，下面我们用文字来详细描述 一下： 

1、第一步，Sqoop 会通过 JDBC 来获取所需要的数据库元数据，例如，导入表的列名，数据 类型等。 

2、第二步，这些数据库的数据类型(varchar, number 等)会被映射成 Java 的数据类型(String, int 等)，根据这些信息，Sqoop 会生成一个与表名同名的类用来完成序列化工作，保存表中的每一行记录。 

3、第三步，Sqoop 启动 MapReducer 作业 
 
4、第四步，启动的作业在 input 的过程中，会通过 JDBC 读取数据表中的内容，这时，会使 用 Sqoop 生成的类进行反序列化操作 
 
5、第五步，最后将这些记录写到 HDFS 中，在写入到 HDFS 的过程中，同样会使用 Sqoop 生 成的类进行反序列化 

2、Sqoop 导出原理 

Sqoop 进行数据导出，总体也是基于 mapreduce 任务。 
 
下面先看图：