Hadoop集群搭建（详细版）

已于 2024-10-09 00:05:45 修改
阅读量1w 收藏 231
点赞数 70
文章标签： hadoop 大数据 linux
于 2024-10-01 01:39:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_73824705/article/details/142659140
版权

Hadoop集群搭建

实验环境

VMware workstation + jdk + Hadoop + Centos 7

新建虚拟机

打开VMware，点击新建虚拟机
新建虚拟机
依次点击“下一步”
在这里插入图片描述

选择Centos 7 64位，下一步
在这里插入图片描述
命名为hadoop101，并选择存放位置（不要无脑放c盘）
在这里插入图片描述
下一步，点击“自定义硬盘”
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
完成！

打开虚拟机

进入之后点击软件选择
在这里插入图片描述
软件选择
点击自动分区，进入后点击完成即可
在这里插入图片描述
点击KDUMP，取消勾选
在这里插入图片描述
打开ens33并修改主机名为hadoop101，点击完成，开始安装
在这里插入图片描述
设置root密码（123456），密码弱点击两次完成即可，等待安装完成后，点击完成配置-重启
在这里插入图片描述
输入root用户及刚才设置的密码登录
在这里插入图片描述
创建后续要用的文件夹
在这里插入图片描述

克隆虚拟机

hadoop101关机，点击“虚拟机”—“管理”—“克隆”
在这里插入图片描述
依次点击下一页，选择创建完整克隆
在这里插入图片描述
命名为hadoop102，完成
在这里插入图片描述
按上述步骤完成克隆hadoop103
在这里插入图片描述

网络配置

点击“编辑”—“虚拟网络编辑器”
在这里插入图片描述

设置网关，子网IP

在这里插入图片描述
在这里插入图片描述

设置本地网络

点击控制面板，进入网络适配器界面，选择 vm8—属性—ipv4—属性
在这里插入图片描述
网络信息与虚拟机中设置的需保持一致
在这里插入图片描述

虚拟机配置

进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改

BOOTPROTO='dhcp' -> 'static'
ONBOOT='no' -> 'yes'

在末行添加代码

IPADDR='192.168.121.131' #'要设置的IP地址'
GATEWAY='192.168.121.2'  #'网关IP'
DNS1='192.168.121.2'     #'网关IP'

在这里插入图片描述
hadoop102和hadoop103分别将IPADDR设置为192.168.121.132/192.168.121.133
重启网络服务，使用ifconfig查看

systemctl restart network
ifconfig

在这里插入图片描述
设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名

hostnamectl set-hostname hadoop101 #修改主机名
cat /etc/hostname                  #查看修改后的主机名

在这里插入图片描述
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）

vi /etc/hosts

在文件末行添加

192.168.121.131 hadoop101
192.168.121.132 hadoop102
192.168.121.133 hadoop103

修改主机映射文件

打开C:\Windows\System32\drivers\etc\hosts，在末行添加
ps：使用记事本打开，编辑保存后修改文件后缀放回原路径

192.168.121.131 hadoop101
192.168.121.132 hadoop102
192.168.121.133 hadoop103

在这里插入图片描述

关闭防火墙

systemctl stop firewalld       #临时关闭防火墙
systemctl disable firewalld    #设置关闭防火墙开机自启

systemctl list-unit-files |grep firewalld  #查看防火墙是否关闭

在这里插入图片描述

SSH免密登录

打开xshell，hadoop101、hadoop102、hadoop103建立连接
在这里插入图片描述

ssh-keygen# 生成公钥与私钥，一直按回车即可

免密登录设置，需输入yes以及root密码

#向目标主机发送公钥
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

在这里插入图片描述

相同步骤设置hadoop102、hadoop103
使用ssh hadoop102测试，成功，exit登出
在这里插入图片描述

安装 Hadoop 完全分布式

上传安装包

使用Xftp，将hadoop和jdk安装包上传到/export/software下
在这里插入图片描述
解压文件到/export/servers，ll命令查看

tar -zxvf hadoop-3.3.5.tar.gz -C /export/servers/
tar -zxvf jdk-8u371-linux-x64.tar.gz -C /export/servers/

在这里插入图片描述

配置环境变量

vi /etc/profile

在文件末行添加

##JAVA_HOME
export JAVA_HOME=/export/servers/jdk1.8.0_371
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/export/servers/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述
保存退出后使用source /etc/profile命令初始化系统环境变量

source /etc/profile

查看是否安装成功
在这里插入图片描述

修改hadoop配置文件

核心配置文件 —— core-site.xml
HDFS 配置文件 —— hdfs-site.xml
YARN 配置文件 —— yarn-site.xml
MapReduce 配置文件 —— mapred-site.xml

进入$HADOOP_HOME/etc/hadoop目录下

  • hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_371

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  • core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-3.3.5</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    <property>
    	<name>hadoop.proxyuser.root.hosts</name>
    	<value>*</value>
    </property>
    <property>
   	<name>hadoop.proxyuser.root.groups</name>
    	<value>*</value>
    </property>
    <property>
   	<name>fs.trash.interval</name>
    	<value>1440 </value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop102:9868</value>
    </property>
</configuration>
  • mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
	<property>
	    <name>mapreduce.jobhistory.address</name>
	    <value>hadoop101:10020</value>
	</property>
	<property>
	    <name>mapreduce.jobhistory.webapp.address</name>
	    <value>hadoop101:19888</value>
	</property>
</configuration>
  • yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
	    <name>yarn.nodemanager.pmem-check-enabled</name>
	    <value>false</value>
    </property>
    <property>
	    <name>yarn.nodemanager.vpmem-check-enabled</name>
	    <value>false</value>
    </property>
    <property>
	    <name>yarn.log-aggregation-enable</name>
	    <value>true</value>
    </property>
    <property>  
	    <name>yarn.log.server.url</name>  
	    <value>http://hadoop101:19888/jobhistory/logs</value>
    </property>
    <property>
	    <name>yarn.log-aggregation.retain-seconds</name>
	    <value>604800</value>
    </property>
</configuration>
  • workers
    ps：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
vi $HADOOP_HOME/etc/hadoop/workers 
#添加你的主机
hadoop101
hadoop102
hadoop103

文件分发

分发安装目录和系统环境变量文件

分发jdk安装目录

scp -r /export/servers/jdk1.8.0_371 root@hadoop102:/export/servers/
scp -r /export/servers/jdk1.8.0_371 root@hadoop103:/export/servers/

分发hadoop安装目录

scp -r /export/servers/hadoop-3.3.5/ root@hadoop102:/export/servers/
scp -r /export/servers/hadoop-3.3.5/ root@hadoop103:/export/servers/

分发系统环境变量文件

scp /etc/profile root@hadoop102:/etc
scp /etc/profile root@hadoop103:/etc

在Hadoop102、Hadoop103中使用source /etc/profile命令初始化系统环境变量

启动集群

首次启动集群需要先格式化 NameNode 节点

hdfs namenode -format

启动集群

start-all.sh
start-yarn.sh

hadoop101节点
在这里插入图片描述
hadoop102节点
在这里插入图片描述
hadoop103节点
在这里插入图片描述

网页界面

在本地浏览器中查看 Hadoop web 界面：192.168.121.131:9870
在这里插入图片描述
192.168.121.131:8088
在这里插入图片描述
恭喜完成！！！
懒大王万岁

Hadoop3.1.4完全分布式集群搭建
Allwordhuier的博客
04-02 6577
在Centos7中直接使用root用户执行hostnamectl命令修改，重启（reboot）后永久生效。要求：三台主机的名字分别为：master slave1 slave2。
Hadoop完全分布式集群搭建
最新发布
2402_87721640的博客
04-03 592
第一台Master第二台Slave1第三台Slave2④inactive(dead)表示防火墙已经关闭；avtice(running)表示防火墙已经开启；黄色字体disabled和绿色字体下面的Active：inactive(dead)表示禁用防火墙服务成功。
Hadoop的集群配置
hhhhhhhhhhhnb的博客
05-11 499
第一步，我们进行集群的弹性扩展： 我们安装都是单机集群 1-N的集群扩张 扩张之前，需要选择一个已安装hadoop的主机，作为Master 已安装hadoop的主机清理，只保留1号机中的hadoop，以这个hadoop为准 确认所有主机已安装了jdk 确认所有主机之间，彼此ssh免密 检查所有主机是否都有公私钥 （1）：在各自的机器上面生成密钥： 　　在第1台机器上生产一对钥匙： ssh-keygen （-t rsa） 　　在第2台机器上生产一对钥匙： ssh-keygen
Hadoop2.7.2之集群搭建（三台）
_阿坤的博客
05-27 1万+
如果你还没有虚拟机，请参考：http://blog.youkuaiyun.com/uq_jin/article/details/51355124 如果你还没有试过单机模式，请参考：http://blog.youkuaiyun.com/uq_jin/article/details/51451995集群规划 主机名 ip 安装的软件 进程 master 192.168.1.111 jdk、hadoo
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 5万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 5333
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop搭建集群
m0_70405779的博客
08-04 1万+
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
Hadoop 集群搭建
Larry的博客
09-27 462
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 master、slave1、slave2 互相配置为 SSH 免密码登录，并都安装好 JAVA 环境 （2）安装配置 h
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1315
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop集群搭建详细步骤
01-30
【Hadoop集群搭建详细步骤】 Hadoop是一种开源的分布式计算框架，主要用于大数据处理。搭建Hadoop集群涉及到多个步骤，包括虚拟机环境准备、克隆、网络配置、软件安装、集群配置、SSH免密登录以及集群的启动和测试...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1237
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop-集群搭建
weixin_52972575的博客
07-19 1054
Hadoop集群搭建
搭建hadoop集群
陆卿之的博客
05-24 6236
搭建hadoop集群
HADOOP集群搭建
weixin_30241919的博客
03-08 206
集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起（也就是说需要分别部署HDFS集群和YARN集群，但是这两个集群在一个机器上部署） HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值