Hadoop完全分布式环境搭建

最新推荐文章于 2023-03-06 21:49:37 发布

西土城小羊

最新推荐文章于 2023-03-06 21:49:37 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： Hadoop

本文链接：https://blog.youkuaiyun.com/u012557610/article/details/80208441

本文详述了如何在Ubuntu虚拟机上搭建Hadoop完全分布式环境，包括安装JDK，配置Hadoop，以及从伪分布式到完全分布式模式的转换。通过在四台虚拟机上配置，其中一台作为NameNode，其余作为DataNode，详细介绍了各个步骤和关键配置文件的修改。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次环境搭建使用Ubuntu虚拟机完成

在搭建Hadoop环境之前需要安装VMware和Ubuntu虚拟机，这边就不再赘述，在本文中使用了Ubuntu16.04作为虚拟机，一共四台虚拟机，其中一台作为NameNode其他三台作为DataNode，因为有很多配置都是重复的，所以我们先在一台机器上配置完成之后，采用复制虚拟机的方式完成所有机器的环境配置

安装JDK

NameNode也就是master节点的ip 是192.168.88.130，在这台机器上首先安装JDK，JDK版本是1.8.0_151，下载JDK之后进行解压，

tar -zxvf jdk-8u151-linux-x64.tar.gz

然后将解压出来的文件夹放到/usr/local/下（需要root权限）

sudo mv jdk1.8.0_151 /usr/local/

在 /etc/profile 文件中设置环境变量

#set Java environment
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 让环境变量生效

使用java -version进行验证

安装Hadoop

首先从官网上下载Hadoop压缩包 hadoop-2.6.5.tar.gz 进行解压

tar -zxvf hadoop-2.6.5.tar.gz

同样的使用mv 命令将解压完的文件夹放到 /usr/local/目录下

修改/usr/local/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件中的jdk安装地址为

export JAVA_HOME=/usr/local/jdk1.8.0_151

修改/etc/profile 文件，添加Hadoop环境变量，修改后如下所示

export JAVA_HOME=/usr/local/jdk1.8.0_151
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin