Sqoop 概述

Sqoop 产生背景

1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。

2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。

1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理

2）hadoop中的数据导入传统数据库，可利用强大的sql进一步分析和展示。

什么是Sqoop

1、sqoop 名字的来源：SQL-to-Hadoop

2、我们可以把它看做成连接传统数据库和Hadoop的桥梁

1）把关系型数据库中的数据导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase

2）把hadoop中的数据抽取出来，导入到关系型数据库中

3、它的设计思想就是：利用MapReduce加快数据传输速度

Sqoop 的优势

1、sqoop可以高效的可控的利用资源，比如它可以通过调整任务数，来控制任务的并发度，另外还可以配置数据库的访问时间等等

2、sqoop能自动的完成数据类型的映射与转换

3、它支持多种数据库，比如mysql oracle，postgresql

Sqoop1与Sqoop2的比较

1、sqoop1和sqoop2是两个不同的版本，它们是完全不兼容的

2、版本划分方式：Apache 1.4.x 之后的版本属于sqoop1,1.99.x之