CentOS7下Hadoop分布式集群搭建（友好型）

最新推荐文章于 2025-04-02 15:34:49 发布
最新推荐文章于 2025-04-02 15:34:49 发布
阅读量678 收藏 5
点赞数 3
文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44283054/article/details/114991312
版权

a.虚拟机VMware16.0
b.操作系统CentOS-7-x86
c. hadoop3.0
d. jdk1.8

一. 环境基础

1.安装虚拟机：https://mp.weixin.qq.com/s/mkt3HjLgXmqxBP4_tucReQ。
2.安装CentOS7可以去官网下载，因为一些限制这里上传不了
3.hadoop3.0和jdk1.8
链接：https://pan.baidu.com/s/15ZlxfymyR8vsJZ7ucvBOkg
提取码：u32b
复制这段内容后打开百度网盘手机App，操作更方便哦

二.搭建分布式集群开始

开始之前安装VMware，在VMware安装好一台CentOS，我们这里需要使用三台CentOS，安装好一台之后直接对这台克隆。

克隆完成之后，修改主机名，分别修改为master、slave1、slave2（名字可以按自己喜欢的起）。
修改主机名：hostnamectl set-hostname +主机名

hostnamectl set-hostname master  
hostname  #查看一下是否修改成功
ls

三台虚拟机的hostname和ip地址：

hostnameIP地址
master192.168.190.10
slave1192.168.190.11
slave2192.168.190.12

IP地址的选择：点击屏幕最左下角的“开始”按钮，选择“运行”命令，在弹出的“运行”对话框中输入“CMD”命令：ipconfig/all。
在这里插入图片描述
1.网络配置
（1）VMware 网络配置；网络配置的目的是使虚拟机上的各个节点能够互联，并且使用用同一个网段。
VMnet8(NAT模式)——子网IP设置为：192.168.190.0——NAT设置：网关改为192.168.190.2—确定，注意勾上“本地使用DHCP服务…”。
在这里插入图片描述
在这里插入图片描述

(2)开始菜单->运行->services.msc——确定，如下图所示，找到以vmware开头的服务，确保都启动了，一般情况已经启动了，这里检查一下
在这里插入图片描述
检查是否启动：
在这里插入图片描述
（3）控制面板->系统和安全->网络和 Internet->网络和共享中心->更改适配器设置，启用VMnet8。
在这里插入图片描述
右键查看VMnet8属性，双击Intter协议版本4看IP地址与子网掩码是否配好，若没则进行相应配置。（注意IP地址与子网掩码是于上面虚拟机配置相对应的）
在这里插入图片描述

2.CentOS网络配置
（1）master节点上修改网卡配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33    #ens33为自己本机上的网卡名
#进入后修改：
BOOTPROTO=static
ONBOOT=yes
注：vim需要在sudo -i下才有权限修改保存。

在这里插入图片描述

vim的保存操作，按ESC键跳到命令模式，然后输入“：”

:w - 保存文件，不退出vim。 :w file - 将修改另外保存到file中，不退出vim。 :w! - 强制保存，不退出vim 。
:wq - 保存文件，退出vim。 :wq! - 强制保存文件，退出vim。 :q - 不保存文件，退出vim。 :q!
不保存文件，强制退出vim。 :e! - 放弃所有修改，从上次保存文件开始再编辑。

修改后添加（如在slave1）：

 IPADDR=192.168.190.11 #IP地址
 NETMASK=255.255.255.0 #子网掩码
 GATEWAY=192.168.190.2 #网关地址
 DNS1=8.8.8.8         #DNS服务器地址

在这里插入图片描述

master和slave2节点上修改网卡配置，基本和slave1上的配置一样，但slave2的IP地址改为192.168.190.12，master的IP地址改为192.168.190.10

（2）三台虚拟机都配置完网卡后，重启网卡。
在master节点和slave1、slave2节点上重启网卡。

systemctl restart network #重启网卡

关闭掉master和slave1、slave2上的防火墙

systemctl stop firewalld.service   #停止firewall 
systemctl disable firewalld.service #禁止firewall开机启动

（3）修改域名，同样的三个节点上都配一遍

vi /etc/hosts

追加ip和主机名的映射关系：

192.168.190.10 master master.cn 
192.168.190.11 slave1 slave1.cn
192.168.190.12 slave2 slave2.cn
#ip地址  hostname  域名 ，设置完之后可以用域名进行访问

在这里插入图片描述
修改完成之后，重启一下:

reboot

重启完之后，测试能不能ping通，实现节点间的互联


ifconfig	#显示的网络信息是否和我们配置的契合

Master测试（同样在slave1、slave2测试）：

#查看网络配置是否成功
ping baidu.com
ping 192.168.100.10
ping Slave1    #ip地址或者是主机名都可以
ping Slave2

在这里插入图片描述
到这里网络配置基本完成。以上如果ping不通：https://blog.youkuaiyun.com/weixin_44283054/article/details/114946744

二. yum 源配置

yum 是linux环境安装软件包的一种方式。很多时候安装一个软件安装一个软件需要安装1个或者多个其他软件， yum仓库用来存放所有的现有的.rpm包，当使用yum安装一个rpm包时， 需要依赖关系，会自动在仓库中查找依赖软件并安装。
（1）安装wget

yum install -y wget

（2）备份/etc/yum.repos.d/CentOS-Base.repo文件

cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo.back

（3）下载阿里云的Centos-7.repo文件

wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

（4）重新加载yum

yum clean all
yum makecache

三. jdk安装

开头已经上传了网盘连接可以下载jdk1.8。然后要上传到三台虚拟机上。我这里使用的是 Xftp文件传输工具（也可以使用其他方式传输，如rz）.
master、slave1、slave2同样要进行以下jdk配置。

（1）jdk上传（顺便把hadoop也上传了）
在这里插入图片描述
（2）解压，我在home目录下新建了一个文件夹为java，把jdk解压缩放进去

tar -zxvf jdk-8u11-linux-x64.tar.gz #执行解压操作

在这里插入图片描述

cd jdk1.8.0_11    #进入jdk目录
vi /etc/profile  #在jdk目录下配置一下java的环境变量
  

#添加如下内容：
export	JAVA_HOME=*jdk路径*   
export	PATH=$JAVA_HOME/bin:$PATH
export	CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

在这里插入图片描述
（3）查看jdk是否安装成功

source /etc/profile  #让配置生效

java -version       #看java是否安装配置成功
chkconfig iptables off  #不成功检查防火墙是否关闭，如果之前忘记关防火墙，可用此命令进行防火墙永久关闭

CentOS7系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0的情况。我们前面的操作中已经关闭防火墙了，如果防火墙没关闭得先关闭防火墙，再开启集群。
在这里插入图片描述
到此，jdk安装成功

四. 免密登录设置（是集群配置成功的关键一步）

以slave1为例，我们执行如下命令生成密匙

ssh-keygen -t rsa     #一直按回车，生成密钥（三台都执行生成）
ssh localhost         #这时候连接到本机是不需要密码了

#在master、slave1、slave2中都执行下面这三条命令，把密钥复制到其他虚拟机上
ssh-copy-id -i master
ssh-copy-id -i slave1
ssh-copy-id -i slave2

测试是否可以免密登录：

ssh+主机名

在这里插入图片描述
这样我们三台机器之间就可免密登录了。
ssh+主机名就可以免密登录到其他虚拟机了，不成功检查虚拟机之间是否可以ping通。（可能上午还可以ping通，下午的时候可能ping不通了，导致ssh不成功，这里重启一下虚拟机，就可以重新ping通）

五. hadoop的安装

（在第三jdk的安装把的时候hadoop压缩包上传到三台虚拟机了）
（1）同样在home目录下新建了一个hadoop，cd hadoop进入到hadoop目录下进行解压缩操作。
在这里插入图片描述

tar -zxvf hadoop-3.0.0.tar.gz#解压缩

配置环境变量：

cd hadoop-3.0.0 
vim /etc/profile  #配置hadoop的环境变量
#添加以下内容
export	HADOOP_HOME=*hadoop路径*
export	PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述
（2）测试hadoop是否成功

source /etc/profile #让其配置生效
hadoop version #查看是否成功

在这里插入图片描述
我这里第一次Hadoop version不成功，原因是jdk的环境变量配置错误，所以环境变量的路径一定要配置准确。

注意： 出现的所有目录是根据自己的配置而定的，不一定和我的一样。
（slave1、slave2的hadoop安装配置同上）

六. 集群配置

mkdir data #进入hadoop新建一个目录放data,然后ls一下查看是否建好
cd data
mkdir -p hadoop/tmp #在data下新建一个放hadoop数据，然后ls一下

cd etc
cd hadoop/  #进入到etc的hadoop的配置文件

在这里插入图片描述
注意路径
在这里插入图片描述
（1）修改一下JAVA_HOME的安装目录

vim hadoop-env.sh  #添加安装目录
#添加内容
export JAVA_HOME=/home/hmm/java/jdk1.8.0_11
export HADOOP_LOG_DIR=/home/hmm/hadoop/hadoop

在这里插入图片描述

vim mapred-env.sh  #同样进入，添加以上安装目录内容

hadoop的配置文件在hadoop目录下的etc/hadoop中，这里只修改其中一台服务器的，其他的也一样，只要拷贝过去就行。
（2）配置 core-site.xml

vim core-site.xml    #配置 core-site.xml 

#在<configuration>和</configuration>中间添加以下内容：
  </property>
      <name>fs.defaultFS</name>
        <value>hdfs://192.168.190.10:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hmm/hadoop/hadoop/data/hadoop/tmp</value>
    </property>

其中/home/hmm/hadoop/hadoop/data/hadoop/tmp是之前是建的放hadoop数据的地方
hdfs://192.168.190.10:9000 前面为主机master的IP地址，后面为端口号，可以默认为9000
（3）配置yarn-sit.xml

vim yarn-site.xml  #配置yarn-sit.xml

#在<configuration>和</configuration>中间添加以下内容：
</property>
<name>yarn.resourcemanager.hostname</name>
         <value>192.168.190.10</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

其中192.168.190.10是为主机Master的IP地址
在这里插入图片描述
（4）配置hdfs-site.xml

vim hdfs-site.xml  #配置hdfs-site.xml 

#在<configuration>和</configuration>中间添加以下内容：
<property>
<name>dfs.replication</name>
                 <value>3</value>
        </property>
         <property>
                 <name>dfs.secondary.http.address</name>
                 <value>192.168.190.10:50090</value>
        </property>

其中192.168.190.10是为master的IP地址，3为机器的节点数
（5）配置mapred-site.xml

vim mapred-site.xml  #配置mapred-site.xml

#在<configuration>和</configuration>中间添加以下内容：
<property>
<name>mapreduce.framework.name</name>
         <value>yarn</value>
                 </property>

（6）修改workers文件
增加所有从节点的主机名，我这里使用master做主节点，那么slave1、slave2就是从节点了。

vim workers      #在etc下的hadoop目录进行

在这里插入图片描述

首先删除文件中的默认localhost,然后添加从节点的主机名：
在这里插入图片描述
注意，slave1、slave2也是删除默认localhost添加slave1、2.
在这里插入图片描述
在这里插入图片描述

（7）修改启动脚本
修改start-dfs.sh，stop-dfs.sh这两个脚本文件在文件中前面都增加如下内容，这两个文件在hadoop目录下的sbin/目录下，在文件开头添加内容如下：

vim start-dfs.sh
vim stop-dfs.sh

#都进入以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh，stop-yarn.sh这两个文件在文件前面增加如下内容，这两个文件在hadoop目录下的sbin/目录下，在文件开头添加内容如下：

vim start-yarn.sh
vim stop-yarn.sh

#进入以下内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述
到此一台服务器就配置完成了，其他两台也配置也和上面一模一样，只需要拷贝过去就行了。
可以把master上的hadoop配置文件进行打包压缩复制到slaves节点上，或者直接在slaves节点上各配置一遍，其中配置内容跟master的配置一模一样*（包括IP地址和端口号，三台虚拟机的IP地址全部是master的192.168.190.10）。*

七. 开启集群

  1. 在master中切换到hadoop目录下，执行如下命令（只需在master执行格式化操作，并且只需要执行一遍即可）：
bin/hdfs namenode -format ##启动前先格式化文件系统，之后无须格式化

在这里插入图片描述
看到这个，就说明格式化成功了，没成功检查第六步的配置是否准确。
2. 开启集群

start-dfs.sh   #启动dfs
start-yarn.sh #启动yarn
mr-jobhistory-daemon.sh start historyserver  #启动脚本

接下来用jps这个命令来查看三个节点中已启动的进程来验证集群是否成功：

jps   #可以查看各个节点所启动的进程

正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程；
在这里插入图片描述
在Slave1、2节点上也可以通过jps看到DataNode 和 NodeManager进程。

以上集群已搭建成功
最后 关闭集群也是在Master上关闭，按顺序执行命令

stop-yarn.sh 
stop-dfs.sh 
mr-jobhistory-daemon.sh stop historyserver

除了用jps来验证，还可以在浏览器中访问cluster界面

在这里插入图片描述

study-min
关注
Hadoop集群部署实战指南
悦分享
09-24 2277
为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛我们需要使用大数据技术。大数据是收集、整理、处理大容量数据集，并从中获得结果的技术总称。Apache™Hadoop®项目用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop是一个大数据处理框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Apache Hadoop可以从单个服务器扩展到数千台计算机。Apache Hadoop集群中每台计算机都提供本地计算和存储。
大数据教程（一）—— Hadoop集群坏境搭建配置
数控小J 对大数据的探索与见解
04-21 899
关于大数据的概念或者架构一直在各方争议的背景下持续的存在着。目前，关于大数据项目可以真正被落地实施的解决方案就是：Hadoop为核心的的一些列开源分布式解决方案。
centos7搭建hadoop集群
井桂印
06-19 5355
hadoop搭建和案例执行
在centos7上搭建hadoop集群
qq_38799155的博客
07-23 1万+
准备工作 主机名称 系统环境 ip地址 hadoop-master centos7 192.168.150.181 hadoop-slave1 centos7 192.168.150.182 hadoop-slave2 centos7 192.168.150.183 1.下载hadoop 本文用的是hadoop-2.7.3的版本 下载hadoop的链
CentOS 7 上安装 Hadoop 集群的详细教程
最新发布
lqlj2233的博客
04-02 696
文件（网卡名称可能不同），设置静态 IP。
centos7安装配置Hadoop集群
热门推荐
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
CentOS7搭建Hadoop集群
KeithRong的博客
02-20 256
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts <!-- hosts末尾添加 --> 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 no...
Hadoop集群搭建（六：HBase的安装配置）
Eyeshot的博客
05-27 2414
实验 目的 要求 目的： 1、HBase的高可用完全分布模式的安装和验证 要求： 完成HBase的高可用完全分布模式的安装； HBase的相关服务进程能够正常的启动； HBase控制台能够正常使用； 表创建、数据查询等数据库操作能够正常进行； ...
【Hadoop集群搭建：实战攻略】：传统与现代技术的碰撞
![技术专有名词：Hadoop集群]...本章节将为读者提供一个Hadoop集群搭建的概览，从理论基础到具体实践操作，逐步引导您入门。 ## 1.1 Hadoop集群搭建的前提知识 搭建Hadoop集群之前，需要对H
基于 Hadoop 数据仓库的搭建
qu6zhi
03-17 1884
基于 Hadoop 的数据仓库
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群，自己实际实用过程的总结
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
CentOS7下Hadoop集群搭建（版本hadoop-2.7.3）
u011047968的专栏
08-08 2642
文章目录1、概念1.1、主从结构1.2、Hadoop集群角色名称2、安装前准备2.1、安装软件准备2.2、Hadoop集群服务器规划3、安装3.1 解压文件3.2 修改配置文件3.2.1.修改`hadoop-env.sh`配置3.2.2.修改`core-site.xml`配置3.2.3.修改`hdfs-site.xml`配置3.2.4.修改`mapred-site.xml`配置3.2.5.修改`yarn-site.xml`配置3.2.6.修改`slaves`配置3.3 增加Hadoop环境变量3.4 将Ha
Centos搭建hadoop集群
纯洁的小魔鬼
02-28 2858
搭建hadoop之前保证已经配置好集群机器间免密登录并搭建好zookeeper 1.解压hadoop-3.0.0.tar.gz到/opt/software目录下 以安装 hadoop-3.0.0.tar.gz为例, 下载地址Index of /dist/hadoop/core/hadoop-3.0.0 tar -xvf hadoop-3.0.0.tar.gz mv hadoop-3.0.0 /opt/software 如果解压缩后权限不一致,可以采用如下解压命令 tar --no-s...
CentOS 7搭建hadoop集群
lq_hello的博客
07-28 325
CentOS 7搭建hadoop服务 节点规划 hostname：master、slave1、slave2 IP地址：192.168.81.132、192.168.81.133、192.168.81.137 服务角色：NameNode、DataNode1、DataNode2 关闭防火墙、SELinux 注意：在每个节点上同样需要关闭防火墙、selinux [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce
Centos7搭建hadoop集群
qq_57074721的博客
02-25 580
hadoop集群搭建
CentOS7搭建hadoop集群
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
HDP大数据平台部署指南：CentOS7下的数据处理与分析
3. Hadoop分布式文件系统 (HDFS): HDP 中的HDFS是Hadoop的核心组件之一，它是一个高度容错的系统，用于在商业硬件上存储大量数据。它通过在多台计算机之间分配数据来实现高吞吐量访问数据集。 4. YARN 资源管理器: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值