Sqoop-1.99.7 简单使用

最新推荐文章于 2024-02-28 12:02:31 发布

M_SIGNALs

最新推荐文章于 2024-02-28 12:02:31 发布

阅读量6.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： BigData 文章标签： sqoop2 mysql hdfs

本文链接：https://blog.youkuaiyun.com/M_SIGNALs/article/details/53190965

本文详细介绍了使用Sqoop-1.99.7进行数据迁移的步骤，包括从HDFS导入数据到MySQL以及从MySQL导出数据到HDFS。在每个步骤中，讨论了配置、Link对象创建、Job对象创建及启动，并通过实际操作展示了数据迁移过程中的问题和解决方案。最后，文章提到在没有主键的情况下，从HDFS导入到MySQL的数据可能是无序的。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

经过上一篇，我们已经安装并且配置好了 sqoop2，这一篇我们通过两个实例来简单使用一下。

1.HDFS ⇒ Mysql

1.1启动服务

[root@master ~]# sqoop2-server start

1.2启动客户端

[root@master ~]# sqoop2-shell
Setting conf dir: /usr/hadoop/sqoop-1.99.7/bin/../conf
Sqoop home directory: /usr/hadoop/sqoop-1.99.7
Sqoop Shell: Type 'help' or '\h' for help.

sqoop:000> \h
For information about Sqoop, visit: http://sqoop.apache.org/

Available commands:
  :exit    (:x  ) Exit the shell
  :history (:H  ) Display, manage and recall edit-line history
  help     (\h  ) Display this help message
  set      (\st ) Configure various client options and settings
  show     (\sh ) Display various objects and configuration options
  create   (\cr ) Create new object in Sqoop repository
  delete   (\d  ) Delete existing object in Sqoop repository
  update   (\up ) Update objects in Sqoop repository
  clone    (\cl ) Create new object based on existing one
  start    (\sta) Start job
  stop     (\stp) Stop job
  status   (\stu) Display status of a job
  enable   (\en ) Enable object in Sqoop repository
  disable  (\di ) Disable object in Sqoop repository
  grant    (\g  ) Grant access to roles and assign privileges
  revoke   (\r  ) Revoke access from roles and remove privileges

For help on a specific command type: help command

sqoop:000>

1.3简单配置

这里写图片描述

像官网上介绍的，有许多可选项可以供我们设置，对于 verbose 这一项建议设置成为 true，它默认是 false，表示不会在输出过多信息。设置成 true 可以显示更多信息，有助于我们的学习。

sqoop:000> set option --name verbose --value true
Verbose option was changed to true
sqoop:000>

之后设置连接 sqoop2 服务器

sqoop:000> set server --host master --port 80 --webapp sqoop

Server is set successfully
sqoop:000>

我们可以使用 show version –all 命令来验证是否连接成功，显示的版本是我们安装的就表示连接成功了

sqoop:000> show version -all
client version:
  Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb 
  Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016
server version:
  Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb 
  Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016
API versions:
  [v1]
sqoop:000>

这些设置使用的命令都可以在官网的文档了查询到。

1.4创建 HDFS 的 Link对象

这里写图片描述

文档里给出了创建 Link 所使用的命令，但是，对于 connectorName 我们要使用什么呢。所以我们可以使用 show connector 命令来查看一下 sqoop2 提供有什么 connector：
这里写图片描述
如图，有这么多，我们先来创建 hdfs-connector 的吧：
要使用到的参数如下：

sqoop:000> create link --connector hdfs-connector

Creating link for connector with name hdfs-connector
Please fill following values to create new link object
Name: HDFS  # 要创建的 link 的名称(必填)

HDFS cluster

URI: hdfs://master: