Sqoop2学习（一）—Sqoop1.99.3介绍与安装

最新推荐文章于 2023-05-16 17:40:58 发布

原创

最新推荐文章于 2023-05-16 17:40:58 发布 · 3.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop #hadoop

本文介绍了Sqoop2 1.99.3的基本概念，强调其作为Hadoop与数据库间批量数据传输工具的角色。内容包括 Sqoop2 的服务器和客户端安装，依赖条件，端口设置，特别是`common.loader`配置以及Derby数据库的JDBC配置。此外，还详细阐述了Sqoop2 Server的启动与停止过程，以及客户端的简易安装步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题导读：

1、Sqoop2 server安装需要依赖什么条件？

2、common.loader值怎么配置？

3、Sqoop默认两个端口是12000、12001

一、Sqoop2简介

Sqoop2是用来在Hadoop与结构化数据存储如关系型数据库之间进行批量数据传输的一个有效工具。Sqoop2 1.99.3目前支持将数据导入到HDFS中，期待更多的功能。

Sqoop2安装包分为两个部分：服务器和客户端，你需要在Hadoop集群上的一个节点上（一般是Master节点）上安装Sqoop服务器，客户端安装不依赖Hadoop集群。Sqoop服务端扮演着从客户端收集的入口点，同时也充当着MapReduce的客户机。

二、下载Sqoop2安装包

1、点击下载sqoop-1.99.3-bin-hadoop200.tar.gz，解压到对应目录，我的目录如下：

[hadoopUser@secondmgt sqoop-1.99.3-bin-hadoop200]$ pwd
/home/hadoopUser/cloud/sqoop/sqoop-1.99.3-bin-hadoop200

2、修改.bashrc，添加以下配置

#Sqoop Configure
export SQOOP_HOME=/home/hadoopUser/cloud/sqoop/sqoop-1.99.3-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin
export CATALINA_HOME=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs

执行source ~/.bashrc，即可生效

三、服务端安装

1、切换到安装包的server目录下的conf中