sqoop2和sqoop1的区别

最新推荐文章于 2022-10-20 14:59:41 发布

转载最新推荐文章于 2022-10-20 14:59:41 发布 · 206 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/iioschina/blog/842567

文章标签：

#python

本文介绍了 Sqoop2 的主要特点，包括服务端组件的引入、客户端提供的功能如连接服务器、搜索 connectors、创建 link 和 job 等。此外还详细解释了 connector、link、job 和 driver 的概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

Sqoop目前版本已经到了1.99.7，我们可以在其官网上看到所有的版本，Sqoop1.99.7是属于sqoop2，Sqoop1的最高版本为1.4.6，版本号划分区别，Apache：1.4.x,1.99.x~

sqoop2的区别有服务端，使用时要启动NameNode,DataNode,yarn(NodeManager,ResourceManager);
Sqoop server是基于jetty实现的
sqoop client提供给用户的有：
连接服务器
搜索connectors
创建link
创建job
提交job
返回job运行信息等功能

1connector.是一些链接的配置模板（连接数据源）
2link,定义了一个从某一个数据源读出和写入时的配置信息
3job是从一个数据源读出，写入到另一个数据源的过程（由link(from),link(to),driver组成）
4Driver 提供了对于job任务运行的其他信息，比如Map/Reduce任务的配置

转载于:https://my.oschina.net/iioschina/blog/842567