Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署

alicely07

已于 2024-03-06 17:04:00 修改

阅读量4.1k

点赞数 1

分类专栏： Hive 文章标签： linux 大数据

于 2023-02-04 13:36:48 首次发布

本文链接：https://blog.youkuaiyun.com/alicely07/article/details/128878877

版权

本文档详细介绍了在Linux环境下，如何部署Hadoop3.2.4、Hive3.1.2和sqoop1.4.7，包括JDK、Zookeeper的安装，以及Hadoop的配置和Hive的远程模式部署。此外，还涵盖了sqoop的安装、配置和数据迁移步骤，为大数据处理提供了一个完整的集群环境搭建指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4.分发JDK相关文件至Node_02、Node_03

5.分发ZooKeeper 相关文件至Node_02、Node_03

六、Sqoop安装（在Node_02安装）

一、软件包

hadoop3.2.4.tar.gz ( 解压后若无src文件，则需再下载hadoop-3.2.4-src.tar.gz )

apache-hive3.1.2-bin.tar.gz

zookeeper-3.7.1.tar.gz

jdk-8u162-linux-x64.tar.gz

mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

mysql-connector-java-5.1.40.tar.gz

sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

java-json.jar

SecureCRT（远程连接虚拟机工具，或Xshell）

IdeaIU-2022.3.1（Hive可视化工具）

准备工作：1. 虚拟机Node_01、Node_02、Node_03，并在三台虚拟机上建立存放软件包目录/export/software 及存放应用的目录/export/servers；2.安装文件传输工具lrzsz：yum install lrzsz -y；3.通过SecureCRT将所需以上软件包上传至目录/export/software

二、JDK部署

1.JDK解压

tar -zxvf /export/software/jdk-8u162-linux-x64.tar.gz -C /export/servers/

2.设置环境变量

vi /etc/profile

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3.环境验证

java -version 输出：

java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

4.分发JDK相关文件至Node_02、Node_03

//--分发jdk
scp -r /export/servers/jdk/ root@node02:/export/servers/
scp -r /export/servers/jdk/ root@node03:/export/servers/

//--分发环境变量文件

scp /etc/profile root@node02:/etc/profile
scp /etc/profile root@node03:/etc/profile

5.环境生效

三台虚拟机分别 source /etc/profile使环境生效

三、Zookeeper部署

1.Zookeeper解压

tar -zxvf /export/software/zookeeper-3.7.1.tar.gz -C /export/servers/

2.Zookeeper配置

cd /export/servers/zookeeper-3.7.1/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg，修改dataDir并添加参数“server.x“指定Zookeeper集群包含的服务器

dataDir=/export/data/zookeeper/zkdata
dataLogDir=/export/data/zookeeper/logs
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

注意：提前建立/export/data/zookeeper/zkdata目录

3.创建myid文件

三台虚拟机分别在/export/data/zookeeper/zkdata目录创建myid

echo 1 > myid // Node_01

echo 2 > myid // Node_02

echo 3 > myid // Node_03

4.设置环境变量并添加映射

vi /etc/profile

export ZK_HOME=/export/servers/zookeeper-3.7.1
export PATH=$PATH:$ZK_HOME/bin

在三台虚拟机中添加映射：vi /etc/hosts

127.0.0.1   localhost

192.168.159.128 node01
192.168.159.129 node02
192.168.159.130 node03

5.分发ZooKeeper 相关文件至Node_02、Node_03

与JDK分发类似

//--分发zookeeper
scp -r /export/servers/zookeeper-3.7.1/ root@node02:/export/servers/
scp -r /export/servers/zookeeper-3.7.1/ root@node03:/export/servers/

//--分发环境变量文件

scp /etc/profile root@node02:/etc/profile
scp /etc/profile root@node03:/etc/profile

注意三台虚拟机分别 source /etc/profile使环境生效

四、Hadoop部署

1.Hadoop解压

tar -zxvf /export/software/hadoop-3.2.4.tar.gz -C /export/servers/

2.设置环境变量

vi /etc/profile，编辑完成后source /etc/profile 使环境生效

export HADOOP_HOME=/export/servers/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.查看hadoop版本

hadoop version

也可查看hadoop目录结构

4.配置hadoop

（1）/export/servers/hadoop-3.2.4/etc/hadoop/hadoop-env.sh

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/export/servers/jdk

（2）/export/servers/hadoop-3.2.4/etc/hadoop/yarn-env.sh

#some java parameters
export JAVA_HOME=/export/servers/jdk

（3） /export/servers/hadoop-3.2.4/etc/hadoop/core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ns1</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/export/servers/hadoop-3.2.4/tmp</value>
        </prop

最低0.47元/天解锁文章