Hadoop完全分布式环境搭建

本文详述了如何在Ubuntu虚拟机上搭建Hadoop完全分布式环境,包括安装JDK,配置Hadoop,以及从伪分布式到完全分布式模式的转换。通过在四台虚拟机上配置,其中一台作为NameNode,其余作为DataNode,详细介绍了各个步骤和关键配置文件的修改。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本次环境搭建使用Ubuntu虚拟机完成

在搭建Hadoop环境之前需要安装VMware和Ubuntu虚拟机,这边就不再赘述,在本文中使用了Ubuntu16.04作为虚拟机,一共四台虚拟机,其中一台作为NameNode其他三台作为DataNode,因为有很多配置都是重复的,所以我们先在一台机器上配置完成之后,采用复制虚拟机的方式完成所有机器的环境配置

安装JDK

NameNode也就是master节点的ip 是192.168.88.130,在这台机器上首先安装JDK,JDK版本是1.8.0_151,下载JDK之后进行解压,

tar -zxvf jdk-8u151-linux-x64.tar.gz

然后将解压出来的文件夹放到/usr/local/下(需要root权限)

sudo mv jdk1.8.0_151 /usr/local/

在 /etc/profile 文件中设置环境变量

#set Java environment
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 让环境变量生效

使用java -version进行验证

安装Hadoop

首先从官网上下载Hadoop压缩包 hadoop-2.6.5.tar.gz 进行解压

tar -zxvf hadoop-2.6.5.tar.gz

同样的使用mv 命令将解压完的文件夹放到 /usr/local/目录下

修改/usr/local/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件中的jdk安装地址为

export JAVA_HOME=/usr/local/jdk1.8.0_151

修改/etc/profile 文件,添加Hadoop环境变量,修改后如下所示

export JAVA_HOME=/usr/local/jdk1.8.0_151
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

运行hadoop version 如下图所示

Hadoop 有三种运行模式:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值