HDFS -2- 集群搭建

已于 2023-03-21 08:57:28 修改
阅读量328 收藏
点赞数
分类专栏： Hadoop系列 文章标签： hadoop hdfs
于 2023-03-19 20:35:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42633805/article/details/129651326
版权

一、基础依赖

  1. 软件版本

CentOS7 x64

Java 1.8

Hadoop 3.3.2

zookeeper 3.6.4

  1. 机器分布

说明:

NN： NameNode HDFS集群入口，复制维护和管理文件系统元文件，包括名称空间、文件和块位置信息、访问权限等

DN： DataNode，存储实际数据，执行客户请求，并通过定期发送心跳信息汇报自己负责的块列表。

ZKFC: ZKFailoverController 负责NN主备切换控制，定期检测NN状态

NM：Node Manager 资源监控代理就，监控节点的资源使用，向RM 上报节点状态

RM: Resource Manager 资源控制节点，负责全局统一的资源管理调度分配

JN: JournalNode 基于QJM共享存储系统的NN高可用方式，用于存储edit日志文件（后续详细介绍NN的高可用原理）

ZK： zookeeper 分布式协调器，用于后续NN选主使用。

主机名

IP

角色

服务

m01

192.168.3.203

NN(Active)

NN、ZKFC

m02

192.168.3.207

NN(Standby)

NN、ZKFC、RM

n01

192.168.3.204

DN

DN、NM、JN、ZK

n02

192.168.3.205

DN

DN、NM、JN、ZK

n03

192.168.3.206

DN

DN、NM、JN、ZK

  1. 用户、目录设置

创建hadoop账户，并配置该账户下无密码访问

创建工程、数据目录

mkdir /opt/module/ （自定义工程目录）

mkdir /home/hadoop/data/namenode (自定义数据目录)

mkdir /home/hadoop/data/tmp (自定义pid目录)

mkdir /home/hadoop/data/journalnode (自定义存放edit目录)

修改相应目录所属用户和组

chown -R hadoop.hadoop /opt/module

chown -R hadoop.hadoop /home/hadoop/data (使用hadoop账户创建该操作省略)

  1. 基础软件安装

安装java

#yum install java-1.8.0-openjdk.x86_64 -y

安装psmisc

#yum install psmisc -y

拷贝hadoop软件到服务器（略）

安装 zookeeper

#cp zoo_sample.cfg zoo.cfg

#vim zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/hadoop/zkdata

clientPort=2181

server.1=n01:2888:3888

server.2=n02:2888:3888

server.3=n03:2888:3888

#vim /home/hadoop/zkdata/myid

1

注意：这里的数字和配置文件中定义的server.x 要一致，即 n01 对应的ID 为1， n02对应的ID 为2...

分别启动服务

#./bin/zkServer.sh start

查看ZK集群状态

#./bin/zkServer.sh status

  1. 环境变量配置

#vim /etc/profile.d/hadoop.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/module/hadoop-3.3.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_CLASSPATH=/opt/module/hadoop-3.3.2/lib/*

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/apache-hive-3.1.3-bin/lib/*

注：

获取YUM 安装java路径

二、安装部署

  1. 配置修改

配置文件存放目录 hadoop-3.3.2/etc/hadoop

1.1 core-site.xml

<!-- NameNode URL -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://myhdfs</value>

</property>

<!-- Data Dir-->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/data/namenode</value>

</property>

<!-- web brower user-->

<property>

<name>hadoop.http.staticuser.user</name>

<value>hadoop</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

<property>

<name>ha.zookeeper.quorum</name>

<value>n01:2181,n02:2181,n03:2181</value>

</property>

<!--系统垃圾桶保留时-->

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

<property>

<name>ipc.client.connect.retry.interval</name>

<value>10000</value>

</property>

1.2 hdfs-site.xml

<!-- 定义service 名字-->

<property>

<name>dfs.nameservices</name>

<value>myhdfs</value>

</property>

<!-- 定义service 包含的主机-->

<property>

<name>dfs.ha.namenodes.myhdfs</name>

<value>m01,m02</value>

</property>

<!-- 定义nn rpc地址和端口-->

<property>

<name>dfs.namenode.rpc-address.myhdfs.m01</name>

<value>m01:8082</value>

</property>

<property>

<name>dfs.namenode.rpc-address.myhdfs.m02</name>

<value>m02:8082</value>

</property>

<!-- 定义nn http地址和端口-->

<property>

<name>dfs.namenode.http-address.myhdfs.m01</name>

<value>m01:9870</value>

</property>

<property>

<name>dfs.namenode.http-address.myhdfs.m02</name>

<value>m02:9870</value>

</property>

<!-- 定义nn间用于存放edits日志的journal节点列表-->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://n01:8485;n02:8485;n03:8485/myhdfs</value>

</property>

<!-- 说明：客户端连接可用状态的NameNode所用的代理类,默认值：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider -->

<property>

<name>dfs.client.failover.proxy.provider.myhdfs</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 配置隔离方式，预防脑裂-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<!-- ssh通讯使用的密钥文件在系统中的位置 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<!-- 说明：失效转移时使用的秘钥文件。 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/data/journalnode</value>

</property>

<!-- 开启NameNode失败自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

<name>dfs.client.failover.proxy.provider.myhdfs</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 设置数据块应该被复制的份数，也就是副本数，默认：3 -->

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<!-- 说明：是否开启权限检查 -->

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

1.3 yarn-site.xml

<!-- MR use shuffle -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- ResourceManage -->

<!--

<property>

<name>yarn.resourcemanager.hostname</name>

<value>m02</value>

</property>

-->

<!--开启ResourceManager HA功能-->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!--标志ResourceManager-->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>myyarn</value>

</property>

<!--集群中ResourceManager的ID列表，后面的配置将引用该ID-->

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>m01,m02</value>

</property>

<!-- 设置YARN集群主角色运行节点rm1-->

<property>

<name>yarn.resourcemanager.hostname.m01</name>

<value>m01</value>

</property>

<!-- 设置YARN集群主角色运行节点rm2-->

<property>

<name>yarn.resourcemanager.hostname.m02</name>

<value>m02</value>

</property>

<!--ResourceManager1的Web页面访问地址-->

<property>

<name>yarn.resourcemanager.webapp.address.m01</name>

<value>m01:8088</value>

</property>

<!--ResourceManager2的Web页面访问地址-->

<property>

<name>yarn.resourcemanager.webapp.address.m02</name>

<value>m02:8088</value>

</property>

<!--ZooKeeper集群列表-->

<property>

<name>hadoop.zk.address</name>

<value>n01:2181,n02:2181,n03:2181</value>

</property>

<!--启用ResouerceManager重启的功能，默认为false-->

<property>

<name>yarn.resourcemanager.recovery.enabled</name>

<value>true</value>

</property>

<!--用于ResouerceManager状态存储的类-->

<property>

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

<!-- 是否将对容器实施物理内存限制 -->

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<!-- 是否将对容器实施虚拟内存限制 -->

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<!-- 环境变量的继承 -->

<property>

<name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

</property>

<!-- 开启日志聚集功能 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property>

<name>yarn.log.server.url</name>

<value>http://m02:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为 7 天 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

1.4 mapred-site.xml

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<!-- 历史服务器端地址 -->

<property>

<name>mapreduce.jobhistory.address</name>

<value>m02:10020</value>

</property>

<!-- 历史服务器 web 端地址 -->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>m02:19888</value>

</property>

<!-- yarn环境变量 -->

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<!-- map环境变量 -->

<property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<!-- reduce环境变量 -->

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

1.5 hadoop-env.sh

服务启动后，默认hadoop相关的pid 会在/tmp目录下生成，该目录系统会定期清理，这里做了调整。

export HADOOP_PID_DIR=/home/hadoop/data/tmp

export HADOOP_HOME=/opt/module/hadoop-3.3.2

1.6 mapred-env.sh

export HADOOP_MAPRED_PID_DIR=/home/hadoop/data/tmp

1.7 workers

n01

n02

n03

三、服务启动

  1. 初始化

初始化集群在ZK的状态（创建zknode）

hdfs zkfc -formatZK

通过zkCli.sh 查看，发现多了一个目录

启动journalServer服务（n01, n02,n03）(第一次需手动启动，后续直接通过m01执行start-dfs.sh 启动)

hdfs --daemon start journalnode

初始化hadoop集群（m01）（注意：第一次搭建的空集群执行）

hdfs namenode -format

  1. 启动服务

第一次需手动启动，后续直接通过m01执行start-dfs.sh 启动所有hadoop相关服务

2.1 启动namenode 服务（m01）

hdfs --daemon start namenode

2.2 Standby namenode 同步镜像

hdfs namenode -bootstrapStandby

2.3 Standby namenode 启动

hdfs --daemon start namenode

2.4 查看集群主备状态

hdfs haadmin -getAllServiceState

发现2个节点均为standby 状态，同时通过jps 查看发现m01, m02 均没有ZKFC进程

启动hdfs (m01)

./sbin/start-dfs.sh

获取NameNode节点

主备节点状态

hdfs haadmin -getAllServiceState

切换主备节点状态

hdfs haadmin -transitionToStandby --forcemanual m02

获取JN节点

2.5 启动yarn (m01)

./sbin/start-yarn.sh

四、Web访问

  1. hdfs管理界面

  1. yarn 管理界面

五、测试

  1. 文件加载、查看

  1. 任务管理

使用官方提供的测试用例，计算圆周率

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar pi 10 50

  1. 主备切换

3.1 手动切换NameNode

#hdfs haadmin -getServiceState m01

此时m01处于active 状态

将m01 置为 standby 状态

hdfs haadmin -transitionToStandby --forcemanual m01

查看当前集群m01 m02 状态

注：

没有执行 hdfs haadmin -transitionToActive --forcemanual m02 将m02置为active状态，但 此时m02状态自动变更为active, 原因：hdfs-site 配置了失败自动切换。

3.2 手动切换YARN

查看当前状态

yarn rmadmin -getAllServiceState

切换状态

yarn rmadmin -transitionToStandby -forcemanual m02

yarn rmadmin -transitionToActive -forcemanual m01

查看当前状态

yarn rmadmin -getAllServiceState

  1. 故障自动切换

4.1 NameNode 故障切换

查看当前状态

关停m01 上的namenode

hdfs --daemon stop namenode

查看状态

执行任务

会发现过程中完成了一次主备节点切换

4.2 Yarn 故障切换

查看当前集群状态

yarn rmadmin -getAllServiceState

模拟m01故障

yarn --daemon stop resourcemanager

执行任务

5. 遗留问题

该测试集群2个namenode 节点，每次启动时m02都是active状态，原因待分析。

Hadoop高可用HDFS集群搭建详解
Mithrandir_One的博客
12-21 1188
说明： Hadoop高可用ＨＤＦＳ集群搭建步骤详解，在搭建的过程中会出现各种各样的问题，大家要养成看日志的习惯，大部分错误在启动或者 搭建的过程中都会在日志中体现，（由于日志信息过多，一般错误会在日志最后部分出现建议使用ｔａｉｌ命令查看日志，注意不要粘贴命令，格式问题） 集群图表：步骤１：准备工作 保证网络可以ｐｉｎｇ通 hosts文件要修改（也可不修） 防火墙关闭 - 关闭防火墙方法：
基于zookeeper安装部署下，配置 HDFS-HA 集群
m0_61475271的博客
09-30 753
版权声明：本文内容及产生的收益归{浮屠}和葛一帆所有，请勿抄袭与不正当转载，一切解释权归{浮屠}和葛一帆所有！二、配置 hadoop-env.sh（之前有的话，可以忽略）当格式化ZK后，ZK中将会多了hadoop-ha。三、配置 core-site.xml。四、配置 hdfs-site.xml。五、启动 HDFS-HA 集群。详细相关配置请看下一篇👇。
hdfs集群搭建
Lee_Suoer的博客
04-11 407
先安装好jdk，三台机器配置好无密登录， namenode机器还要配置自己对自己的无密登录，再在环境变量中添加配置： export HADOOP_PREFIX=/home/lishuo/app/hadoop-2.7.1 export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin export HADOOP_COMMON_HOME=$HADO...
site：构建个性化网站的便捷工具
最新发布
gitblog_00554的博客
05-05 995
site：构建个性化网站的便捷工具 site ???? My name dot com. 项目地址: https://gitcode.com/gh_mirrors/site17/site ...
HDFS集群搭建
weixin_43020359的博客
10-28 318
一、集群环境准备 1、克隆四台linux虚拟机 2、修改每一台虚拟机主机名 [root@bigdata01 ~]# vi /etc/sysconfig/network 3、修改每一台虚拟机ip地址 [root@bigdata01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 4、修改每一台虚拟机的网卡物理地址，把eth0的那一行删掉，把下一...
07 hdfs 集群搭建
970655147的专栏
07-31 654
前言 呵呵 最近有一系列环境搭建的相关需求 记录一下 hdfs 三个节点 : 192.168.110.150, 192.168.110.151, 192.168.110.152 150 为 master, 151 为 slave01, 152 为 slave02 三台机器都做了 trusted shell hdfs 集群搭建 hdfs 三个节点 : 192.168.110.150, 192.168.110.151, 192.168.110.152 1. 基础环境准备 192..
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
04-30
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
HaveAGoodDay428的博客
02-17 8206
集群配置文件，hadoop
HDFS-HA 集群搭建 YARN-HA 集群的搭建 配置 HDFS-HA 自动故障转移机制
csdnwindnorth的博客
09-06 959
HA概述 1.所谓HA（high available），即高可用（7*24小时不中断服务）。 2.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3.Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4.NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...
Hadoop 2.7.2集群重构：实现hdfs-over-ftp的直接使用
根据提供的文件信息，我们将重点讨论 Hadoop 2.7.2 版本的集群搭建、hdfs-over-ftp 的重构和使用。Hadoop 是一款由 Apache 软件基金会支持的开源分布式存储和计算框架，广泛应用于大数据处理领域。下面将详细介绍...
day2-搭建hdfs分布式集群
weixin_30621711的博客
10-17 274
1、搭建hdfs分布式集群 4.1 hdfs集群组成结构： 4.2 安装hdfs集群的具体步骤： 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：...
Hadoop集群搭建（hdfs、yarn）
majunssz的博客
03-24 1014
Hadoop 是 Apache 软件基金会旗下的一个开源项目，是用于处理大数据的分布式系统基础架构，被广泛应用于大数据存储、处理和分析等场景。
HDFS 集群 搭建
keys_7的博客
01-05 655
HDFS 集群安装基础环境hadoop 2.10.1jdk1.8分发集群配置免密登陆添加用户更改hostnamehosts配置免密（三台重复）Hadoop安装配置 `etc/hadoop/hadoop-env.sh `配置 `etc/hadoop/core-site.xml `配置 `etc/hadoop/hdfs-site.xml `配置 `etc/hadoop/mapred-site.xml `配置 `etc/hadoop/yarn-site.xml`配置环境变量格式化文件系统分发Python安装Had
搭建HDFS集群
summersoft6的博客
09-19 351
Vmware虚拟机下搭建hadoop1集群
hdfs集群的搭建
hemeinvyiqiluoben的专栏
12-04 524
转自： https://blog.youkuaiyun.com/wanbf123/article/details/81948026   版权声明：everything    https://blog.youkuaiyun.com/wanbf123/article/details/81948026 wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.7...
1、HDFS集群搭建
Rainbow的博客
06-28 1061
如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果在完全分布式部署，Namenode和ResourceManger如果不是同一台机器，不能在NodeManager上启动 yarn，应该在ResouceManager所在的机器上启动yarn。这是因为WEB浏览器中是以匿名用户（dr.who）登陆的，其只有只读权限，多数操作是做不了的。
大数据技术之HDFS集群搭建
haodiaoji9386的博客
09-02 588
准备工作 1） 首先查看本机IP地址       ipconfig 记住自己本机的IP地址 在配置虚拟机师IP地址时避免重复 2） 查看虚拟机的网关和子网IP ​ 打开VMware Workstation,依次点击编辑--&gt;虚拟网络编辑器 出现以下界面，选中VMnet8 再点击NAT设置 标题                            3）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值