Hadoop 2.7.2版本完全分布式搭建

最新推荐文章于 2022-07-21 16:50:24 发布

吃顿好的

最新推荐文章于 2022-07-21 16:50:24 发布

阅读量863

点赞数

分类专栏： hadoop 文章标签： hadoop 分布式部署大数据

本文链接：https://blog.youkuaiyun.com/qq_39800434/article/details/107188306

版权

本文详细介绍了如何在分布式环境中搭建Hadoop 2.7.2版本，包括主机配置、环境配置如JDK安装、主机间免密配置，以及Hadoop的下载、环境变量设置、配置文件修改（如core-site.xml、hdfs-site.xml等）和启动过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主机配置

主机	IP	角色
hadoop01	10.1.24.1	namenode，datanode，nodeManager
hadoop02	10.1.24.2	namenode2，datanode，nodeManager
hadoop03	10.1.24.3	resourceManager，datanode，nodeManager，历史服务器

环境配置

安装JDK

这里安装的是1.8.0_211版本。

配置三台主机免密

这里三台都要配置，自己到自己的免密也要配置。

安装hadoop

下载安装包

mkdir /home/hadoop
cd /home/hadoop
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -zxvf hadoop-2.7.2.tar.gz
cd hadoop-2.7.2

设置环境变量

vim /etc/profile
# 在最后面增加如下两行代码
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 保存退出
source /etc/profile

修改运行文件的JAVA_HOME

每个节点都需要修改
vim etc/hadopp/hadoop-env.sh
然后修改export JAVA_HOME=${JAVA_HOME}为export JAVA_HOME=/home/java/jdk1.8.0_211

vim etc/hadopp/yarn-env.sh
然后将# export JAVA_HOME=/home/y/libexec/jdk1.6.0为export JAVA_HOME=/home/java/jdk1.8.0_211

vim etc/hadoop/mapred-env.sh
然后将# export JAVA_HOME=/home/y/libexec/jdk1.6.0为export JAVA_HOME=/home/java/jdk1.8.0_211

修改配置文件

core-site.xml

<configuration>
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000

最低0.47元/天解锁文章