Hadoop（二、centos7安装Hadoop-3.2.1集群--超详细）

最新推荐文章于 2023-02-14 20:20:35 发布

wise_nut

最新推荐文章于 2023-02-14 20:20:35 发布

阅读量881

点赞数

分类专栏：大数据 learing

本文链接：https://blog.youkuaiyun.com/wise_nut/article/details/106596400

版权

本文详细介绍了如何在CentOS7上安装和配置Hadoop-3.2.1集群，包括前置条件、安装JDK和Hadoop、配置集群环境变量、集群时间同步、编写集群分发脚本以及启动和管理集群的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文链接 : Hadoop（二、安装Hadoop-3.2.1集群）.

1. 前置条件

在这里插入图片描述
准备3台虚拟机，关闭防火墙，修改主机名与ip，互相能ping通，设置ssh免密登录
jdk版本：java version “1.8.0_251”
Hadoop版本：hadoop-3.2.1

链接：https://pan.baidu.com/s/1ygVjxxEl3aFIaFwJHwQD9g
提取码：mi8x

参考资料：
链接: VMware虚拟机网络连接的3种方式.
链接: Centos7 修改UUID、IP和主机名.
链接: VMware虚拟机中Centos7网络配置及ping不通解决思路.
链接: CentOS7 设置主机名及IP映射、以及配置ssh免密登录.
链接: Centos7 修改UUID、IP和主机名.

2. 复制hadoop、jdk压缩文件到linux

lrzsz是一款在linux里可代替ftp上传和下载的程序。lrzsz是一个unix通信套件提供的X，Y，和ZModem文件传输协议。

## 安装lrzsz
yum install lrzsz

在/opt 目录下新建文件夹 /software 存储解压后的文件 /tar.gz 存放压缩包、并上传压缩包到tar.gz文件夹

mkdir /opt/software
mkdir /opt/tar.gz

cd /opt/tar.gz
rz

解压文件到 /opt/software

## 
tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt/software/
tar -zxvf hadoop-3.2.1.tar.gz -C /opt/software/

2.1 安装jdk，配置环境变量

vi /etc/profile

## 写入下面信息
## JAVA_HOME
export JAVA_HOME=/opt/software/jdk1.8.0_251
export  CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export  PATH=$PATH:$JAVA_HOME/bin

：wq!

## 刷新文件
soucre /etc/profile

## 验证
java -version

在这里插入图片描述

2.2 安装Hadoop、配置j环境变量

vi /etc/profile

## 写入下面信息
## HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

：wq!

## 刷新文件
soucre /etc/profile

## 验证
hadoop

在这里插入图片描述

3. Hadoop目录结构解析

在这里插入图片描述
/bin ：
hadoop ：管理hadoop集群作用
hdfs ：分布式文件系统
yarn ：管理资源调度的

/etc ： 存放各种配置文件，之后我们要修改的配置文件就在 /ect/hadoop 目录下
/include ： 存放Hadoop的 .h 头文件
/lib 、/libexec： 存放配置文件，/native 文件夹之后有有关 hive（基于Hadoop的一个数据仓库工具） 的东西
/sbin ： 存放大量hadoop启动命令的 .sh 脚本文件
在这里插入图片描述
/share： 存放说明文档、手册、案例；/share/hadoop 存放大量官方案例