安装部署 Sqoop

在已安装并启动Hadoop的基础上,本文详细介绍了如何配置和安装Sqoop。首先,从公众号获取Sqoop安装包,然后将MySQL连接器的jar文件复制到指定目录。接着,设置环境变量并编辑配置文件,指明Hadoop、Hbase和Hive的相关路径。最后,启动Sqoop并验证其安装成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

下载安装包 ,公众号“墨染盛夏”,输入“sqoop安装包”,获取连接自行下载

一、前提:

该部分的安装需要在 Hadoop 已经成功安装的基础上,并

且要求 Hadoop 已经正常启动。Hadoop 正常启动的验证过

程如下:

  1. 使用下面的命令看可否正常启动hadoop
start-all.sh

(2) 使用浏览器查看相应界面

 

该页面的结果跟 Hadoop 安装部分浏览器展示结果一致。 如果

满足上面的两个条件,表示 Hadoop 正常启动 。下面的操作都是通过

此节点进行

二、配置 Sqoop

1、配置 MySQL 连接器

将 mysql 的 java connector 复制到依赖库中:

cp mysql-connector-java-5.1.32.jar  /home/centos01/software/sqoop1.4/lib

 

2、将安装包上传至虚拟机,然后解压。

配置环境变量 vi  /etc/profile,配置好之后输入source  /etc/profile。

#SQOOP_HOME

export SQOOP_HOME=/home/centos01/software/sqoop1.4

export PATH=$PATH:$SQOOP_HOME/bin

 

3、配置文件

cp sqoop-env-template.sh sqoop-env

将该文件 sqoop-env.sh 里面的内容替换:

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/home/centos01/software/hadoop-3.3.0



#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/home/centos01/software/hadoop-3.3.0



#set the path to where bin/hbase is available

export HBASE_HOME=/home/centos01/software/hbase-2.2.4



#Set the path to where bin/hive is available

export HIVE_HOME=/home/centos01/software/hive3.1

 

4、启动并验证 Sqoop

进入 Sqoop 安装主目录:

bin/sqoop help

执行命令后会看到下面的打印输出,表示安装成功:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨染盛夏呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值