Sqoop是一款用于在Hadoop与RDBMS间进行批量数据迁移的工具，采用MapReduce实现高效迁移。它支持数据导入导出，通过split-by参数进行数据切分，提供增量导入功能，并在导入大对象时使用LobFile格式。导出时，Sqoop生成java类并执行基于jdbc的插入操作，以提高并行度。
目录
Sqoop简介
Sqoop架构
Sqoop导入底层工作原理
Sqoop导出底层工作原理
Sqoop简介
Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流。可以把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率。
如果要用Sqoop，必须正确安装并配置Hadoop，因依赖于本地的Hadoop环境启动MR程序；MySQL、Oracle等数据库的JDBC驱动也要放到Sqoop的lib目录下。
Sqoop架构
Sqoop1和Sqoop2的对比
Sqoop1架构
Sqoop2架构
对比分析
① 在架构上，Sqoop1仅仅使用一个Sqoop客户端；Sqoop2引入了S
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
