Hadoop全分布式集群搭建详细步骤

最新推荐文章于 2025-06-05 17:13:04 发布
原创 最新推荐文章于 2025-06-05 17:13:04 发布 · 3.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#集群搭建 #hadoop

本文详细介绍了Hadoop集群的搭建过程，包括虚拟机配置、防火墙设置、JDK与Hadoop安装、环境变量配置、Hadoop配置文件修改、免密登录设置及集群启动验证等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

集群搭建的步骤有很多，并不是一成不变的标准顺序，我写的只是仅供大家的一个参考，希望能帮到大家，如果有不对的地方也希望大家留言指教。

首先要创建一个虚拟机然后将虚拟机打开

1.修改虚拟机IP地址和配置NAT模式，根据下面的命令和图片中红色框内容进行设置
IPADDR是本台虚拟机的IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
在这里插入图片描述
2.修改本机的IPV4
打开网络右键打开属性
在这里插入图片描述
点击更改适配器设置
在这里插入图片描述
双击打开IPv4进行设置
在这里插入图片描述
按照下图进行设置，设置完毕确认即可
在这里插入图片描述
点击你的虚拟机右键打开设置
在这里插入图片描述
点击网络适配器点击高级
在这里插入图片描述

将vi /etc/sysconfig/network-scripts/ifcfg-eth0 中的HWADDR改为下面的mac地址
在这里插入图片描述

3.连接Xshell
4.查看防火墙状态
service iptables status
在这里插入图片描述
发现有防火墙开启，然后需要将防火墙关闭
service iptables stop
在这里插入图片描述
然后再查看一下防火墙状态
在这里插入图片描述
在通过 chkconfig iptables off 命令将防火墙永久关闭
5.然后进入home目录
cd /home
再home目录下创建一个soft文件夹
mkdir soft
在进入soft目录
cd soft/
再soft目录下创建两个文件夹用于存放jdk和hadoop
mkdir JDK mkdir hadoop
6.连接winSCP将hadoop和jdk安装包传入新建的JDK和hadoop文件夹内
7.查看已安装的jdk
rpm -qa | grep jdk
在这里插入图片描述
将已安装的jdk卸载了
rpm -e --nodeps jdk版本号
在这里插入图片描述
8.解压jdk
进入 cd /home/soft/JDK jdk的压缩包存放目录
在这里插入图片描述
通过 tar -zvxf jdk-8u191-linux-x64.tar.gz 解压jdk
解压完毕后与通过ll查看 蓝色字体的 jdk1.8.0_191就是jdk解压后的目录
在这里插入图片描述
通过 mv jdk1.8.0_191/ jdk 将解压包名称修改为jdk 方便后边写路径
在这里插入图片描述
9.配置环境变量 ，在最下面配置环境变量，如果安装路径与我的不同记得修改记得修改环境变量的JAVA_HOME路径
vi /etc/profile

export JAVA_HOME=/home/soft/JDK/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述
写入后， 刷新profile使环境变量生效
source /etc/profile
查看jdk版本是否安装成功
java -version

10.然后进入hadoop压缩包存放地址解压hadoop
tar -zvxf hadoop-2.8.5.tar.gz
在这里插入图片描述
配置hadoop环境变量

export HADOOP_HOME=/home/soft/hadoop/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述
再刷新profile使环境变量生效
source /etc/profile
11.接下来需要修改hadoop的配置文件，需要进入hadoop配置文件的存放地址
在这里插入图片描述
修改hadoop-env.sh
vi hadoop-env.sh
在这里插入图片描述
配置配置core-site.xml
vi core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/soft/tmp</value>
</property>
</configuration>

在这里插入图片描述

配置hdfs-site.xml
vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/soft/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/soft/data</value>
</property>
<property>
        <name>fs.checkpoint.dir</name>
        <value>file:///home/soft/cname</value>
</property>
<property>
        <name>fs.checkpoint.edits.dir</name>
        <value>file:///home/soft/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>hadoop1:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>hadoop2:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

在这里插入图片描述
在这里插入图片描述

配置yarn-site.xml
vi yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop1:8088</value>
</property>
</configuration>

在这里插入图片描述

配置slaves
三个虚拟机的主机名
在这里插入图片描述

创建一个名为mapred-site.xml的文件
touch mapred-site.xml
将mapred-site.xml.template的内容写入mapred-site.xml文件内
cat mapred-site.xml.template >> mapred-site.xml
然后再配置mapred-site.xml
vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>

在这里插入图片描述

克隆两台虚拟机
先将虚拟机关闭，右键虚拟机管理里面的克隆虚拟机
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

打开克隆后的hadoop2虚拟机在这里插入图片描述
删除 Auto eth1
在这里插入图片描述
修改ip地址和HWADDR vi /etc/sysconfig/network-scripts/ifcfg-eth0
在这里插入图片描述
修改主机名 vi /etc/sysconfig/network 修改完后需要重启虚拟机
在这里插入图片描述

然后打开第三台hadoop3虚拟机进行以上和hadoop2一样的操作

接下来对三台主机都进行主机映射配置
vi /etc/hosts
在这里插入图片描述

然后就是最后一步设置免密登陆就完成了
连接上三台虚拟机的XShell

  1. 首先进入root底下的.ssh目录
    cd /root/.ssh cd /root/.ssh
  2. 然后生成一个密钥（需要在三台虚拟机中都执行此命令，生成密钥）
    ssh-keygen -t rsa（三次回车）
  3. 然后创建authorized_keys文件
    touch authorized_keys
  4. 将id_rsa.pub的内容写入authorized_keys文件
    cat id_rsa.pub >> authorized_keys
  5. 将authorized_keys传到hadoop2的/root/.ssh下
    scp authorized_keys hadoop2:/root/.ssh/

在这里插入图片描述
6.然后在hadoop2下将将id_rsa.pub的内容写入authorized_keys文件
cat id_rsa.pub >> authorized_keys
7.再将authorized_keys文件传到hadoop3的/root/.ssh下
scp authorized_keys hadoop3:/root/.ssh/
8.然后在hadoop3下将将id_rsa.pub的内容写入authorized_keys文件
cat id_rsa.pub >> authorized_keys
9.再将authorized_keys文件传到hadoop1和hadoop2的/root/.ssh下覆盖之前的authorized_keys文件
scp authorized_keys hadoop1:/root/.ssh/
scp authorized_keys hadoop2:/root/.ssh/
10.在虚拟机上用ssh hadoop1或者ssh hadoop2或者ssh hadoop3进行测试，如果不需要输入密码则免密设置成功

接下来就可以进行格式化然后启动集群
格式化 hdfs namenode -format （只有第一次启动才会格式化）
启动 start-all.sh

网页验证：
http:192.168.80.100:50070
http:192.168.80.100:8088

在虚拟机上分别运行一下jps
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

hadoop完全分布式集群搭建
09-12
史上最详细的hadoop完全分布式集群搭建，适合初学大数据的新手。由于涉及到linux的安装什么的，需要另外linux系统安装详解资源的可以联系我，免费给q：1487954071
Hadoop（三）手把手教你搭建Hadoop全分布式集群
a878787877的专栏
10-11 272
前言 　　上一篇介绍了伪分布式集群的搭建，其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的。接下来我将给大家分享一下全分布式集群的搭建！ 　　其实搭建最基本的全分布式集群和伪分布式集群基本没有什么区别，只有很小的区别。 一、搭建Hadoop全分布式集群前提 1.1、网络 　　1）如果是在一台虚拟机中安装多个linux操作系统的话，可以使用NAT或桥接模式...
HADOOP集群部署
最新发布
qq_53252032的博客
06-05 1452
配置jdk，暂时只在master上边操作，后续直接复制过去就行。
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 5万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop完全分布式集群搭建（超详细）
qq_52868045的博客
11-22 6173
hadoop完全分布式，超详细的部署步骤。
hadoop完全分布式环境搭建详细版
qq_52699757的博客
12-04 988
hadoop环境安装详细版
hadoop完全分布式集群环境搭建(超详细)
weixin_46376562的博客
06-02 3075
所需环境： 关闭所有防火墙 3台centos7(建议配置静态ip) master 192.168.200.128 slave1 192.168.200.129 slave2 192.168.200.130 1. 配置ssh免密登录 2. 配置jdk 3. 配置hadoop 修改配置文件 需要配置的文件的位置为/home/hadoop-2.7.7/etc/hadoop，需要修改的有以下几个文件： hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml
hadoop完全分布式集群搭建（超详细）-大数据集群搭建
默默发展，无声壮大~
04-01 2546
本次搭建完全分布式集群用到的环境有： jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk 密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,slave1,slave2一.配置免密登陆 首先我们要实现三台虚拟机之间相互的ssh免密登陆 在master虚拟机上进行操作：1. 创建ssh秘钥，输入如下命令，生成公私密钥，下方三个红框内都按回车键
完全分布式hadoop搭建
weixin_47748395的博客
09-01 266
1. 安装部署 hadoop三大核心组件 -分布式文件系统（HDFS部署）{DataNode，Secondary Namenode} -分布式计算框架（MapReduce） -集群资源管理（yarn）{resourcemanager，nodemanager 系统规划 192.168.1.60 hadoop1 角色NameNode，SecondaryNamenode，ResourceManager；软件HDFS，YARN 192.168.1.61-192.168.1.63 node-0001~0003 角
inotify和rsync方便地构建文件级双机热备
云（存储），松（耦合）
04-28 2523
一、介绍Inotify 是文件级的事件监控机制，作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能。inotify 可以监视的文件系统事件包括：　　IN_ACCESS，即文件被访问　　IN_MODIFY，文件被 write　　IN
Hadoop 分布式集群搭建步骤
学亮编程手记
03-04 604
实现各个节点间的免密登录 将hadoop安装包拷贝到其他节点 删除00节点hadoop的运行数据（若有运行） 在00节点的slaves文件中配置其他节点信息 此时在00节点启动hdfs 会在各个节点中分别启动，真正实现分布式 ...
Hadoop完全分布式搭建
weixin_56814370的博客
03-10 881
Hadoop完全分布式搭建
Hadoop完全分布式集群搭建教程(超级详细，已成功)
shileimohan的专栏
07-23 1132
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www.cnblogs.com/tony-hyn/p/9677902.html 三.搭建集群 （1）
Hadoop完全分布式集群搭建详细图文教程
This is Yunis's blog!
08-21 1万+
本文所使用的环境及版本： CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一、安装模板机 1、安装CentOS 7.9并配置网络 注意：在安装虚拟机时建议分配50G以上的磁盘容量，避免后期磁盘不够用需手动扩容的麻烦 关于CentOS 7.X 的安装参照这篇文章：VMware安装CentOS 7.8详细图文教程（含网络配置） 2、安装 epel-release 注：Extra Packages for Enterprise.
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 5242
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
Hadoop分布式集群配置
weixin_30838921的博客
08-24 126
上篇为体验hadoop采用了伪分布模式配置，本篇为继续深究hadoop来大体把握具体实用中的分布式模式。本文实用VMware建了3个虚拟机运行ubuntu。分别为 namenode whuqin1 192.168.64.143 datanode whuqin2 192.168.64.144 datanode whuqin3 192.168.64.145 1.SSH(Secu...
hadoop完全分布式搭建（手把手教，超细）
qq_56893858的博客
11-17 2636
从我hadoop伪分布式搭建来的同学 现在我们已经有了一台hadoop伪分布式的服务器以及另外三台网络能够互通的干净服务器了 如果没有搭过伪分布式的同学，请参考我的另一篇文章 (31条消息) Hadoop伪分布式搭建_迫壳的博客-优快云博客https://blog.youkuaiyun.com/qq_56893858/article/details/121370941?spm=1001.2014.3001.5501先停止hadoop服务 stop-dfs.sh 1.另外三台node安装jdk rpm
Hadoop完全分布式集群搭建详细步骤
"这篇文档详细介绍了如何搭建一个Hadoop完全分布式集群，主要针对Hadoop初学者，内容包括Linux操作系统的安装、主机名与IP地址的配置、SSH的安装与免密码SSH访问机制的设定，以及后续的Hadoop环境配置等步骤。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值