Sqoop2安装

Sqoop2安装,基于版本sqoop-1.99.7,
Sqoop2为单机安装,没有集群概念。
Sqoop2安装依赖Hadoop环境,可以理解为一个Hadoop客户端,
不需要启动Hadoop相关的服务。

1.安装规划

vi /etc/hosts
10.43.159.9 zdh-9

hdfs/zdh1234
/home/hdfs/hadoop-2.7.1

useradd -g hadoop -s /bin/bash -md /home/sqoop2 sqoop2
sqoop2/zdh1234

2.登陆sqoop2用户,获取并且解压安装包

scp root@zdh-11:/home/sqoop/sqoop2/sqoop-1.99.7-bin-hadoop200.tar.gz .
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz

3.配置环境变量

安装jdk,修改.bashrc文件,配置jdk目录:
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置sqoop2的环境变量:
export SQOOP_HOME=/home/sqoop2/sqoop-1.99.7-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin

配置hadoop的环境变量:
export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.修改hadoop配置文件

登陆hadoop用户,修改core-site.xml文件,增加sqoop2用户的相关配置:

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

5.修改sqoop2配置文件

修改sqoop.properties:

# Hadoop configuration directory
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hdfs/hadoop-2.7.1/etc/hadoop

全局替换LOGDIR日志保存目录:
%s:@LOGDIR@:/home/sqoop2/sqoop-1.99.7-bin-hadoop200/logs:g

全局替换BASEDIR sqoo2安装目录:
%s:@BASEDIR@:/home/sqoop2/sqoop-1.99.7-bin-hadoop200:g

配置文件sqoop_bootstrap.properties使用默认值即可,无需修改。

6.初始化sqoop2元数据

sqoop2-tool upgrade
执行成功:"Tool class org.apache.sqoop.tools.tool.UpgradeTool has finished correctly."

sqoop2-tool verify
执行成功:"Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly."

7.启动sqoop2

sqoop2-server start

停止sqoop2:
sqoop2-server stop

8.验证

jps查看进程:
SqoopJettyServer

浏览器访问URL,获取所有的connector:
http://10.43.159.9:12000/sqoop/v1/connector/all

客户端登陆:
sqoop2-shell
展示所有的connector:
show connector

9.参考文章

http://sqoop.apache.org/docs/1.99.7/admin/Installation.html

### Sqoop 1.4.6 安装教程 #### 准备工作 确保已安装并配置好 Hadoop 和 JDK,并设置了 `HADOOP_HOME` 及 `JAVA_HOME` 环境变量。 #### 下载安装包 访问 Apache 的镜像站点,从指定链接下载适用于 Hadoop 版本的 Sqoop 安装文件。对于 Hadoop 2.x 版本,应选择如下 URL 获取压缩包: ```bash wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz ``` 此命令会将所需软件包保存到当前目录下[^1]。 #### 解压与部署 解压缩所下载的 tarball 文件至目标位置,通常建议放置于 `/opt/softs/` 或其他合适路径中: ```bash tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/softs/ cd /opt/softs/ ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 ``` 上述操作创建了一个指向实际安装目录的符号链接以便管理不同版本。 #### MySQL 连接器集成 为了使 Sqoop 能够同 MySQL 数据库交互,需上传相应的 JDBC 驱动程序——即 `mysql-connector-java-5.1.37.jar` 到 Sqoop 库文件夹内: ```bash cp mysql-connector-java-5.1.37.jar /opt/softs/sqoop1.4.6/lib/ ``` 这一步骤允许 Sqoop 正常识别并处理来自 MySQL 的数据源[^2]。 #### 设置环境变量 编辑用户的 shell profile 文件(如 `.bashrc`),添加 SQOOP_HOME 并将其 bin 目录加入 PATH: ```bash export SQOOP_HOME=/opt/softs/sqoop1.4.6 export PATH=$PATH:$SQOOP_HOME/bin source ~/.bashrc ``` 完成这些更改后重新加载配置以生效新设定。 #### 测试安装成果 最后通过执行帮助指令来确认 Sqoop 是否正确安装: ```bash sqoop help ``` 如果一切正常,则可以看到有关可用子命令的帮助信息列表;同时日志输出应当显示正在运行的 Sqoop 版本号为 1.4.6[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值