HDFS-HA工作机制

HDFS-HA通过双NameNode实现单点故障消除。元数据在内存中分别保存,Edits日志由Active NameNode写入,共享存储管理。Zookeeper和ZKFailoverController协调故障转移,健康监测确保无脑裂。故障检测和现役NameNode选择依赖ZooKeeper,ZKFC管理NameNode状态并执行故障转移。

原理:通过双NameNode消除单点故障。

1.HDFS-HA工作要点

1.1.元数据管理方式需要改变

内存中各自保存一份元数据;
Edits日志只有Active状态的NameNode节点可以做写操作;(备份的那个不提供写操作–编辑日志不同步)
两个NameNode都可以读取Edits;
共享的Edits放在一个共享存储中管理(qjournal和NFS两个主流实现–解决了编辑日志不同步问题);

1.2需要一个状态管理功能模块

实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点,利用zk进行状态标识,当需要进行状态切换时,由zkfailover来负责切换,切换时需要防止split brain(脑裂)现象的发生。

1.3无密码登录

必须保证两个NameNode之间能够ssh无密码登录。

1.4隔离(Fence)

即同一时刻仅仅有一个NameNode对外提供服务。

2.自动故障转移工作机制

可以使用命令hdfs haadmin -failover手动进行故障转移,但是在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面介绍如何配置部署HA自动进行故障转移。
自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC–Hadoop进程)进程,如图3-20所示。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能:
1)故障检测:集群中的每个NameNode在ZooKeeper中维护了一个

### HDFS `hdfs-site.xml` 文件配置说明 #### NameNode 和 DataNode 的配置属性 对于高可用性和性能优化,`hdfs-site.xml` 是至关重要的配置文件之一。此文件主要用于定义与HDFS相关的参数设置。 - **NameNode 地址** 为了确保数据节点能够找到名称节点并注册自己,在 `hdfs-site.xml` 中可以指定名称节点的地址: ```xml <property> <name>dfs.nameservices</name> <value>sxt</value> </property> ``` 上述配置指定了一个逻辑上的名字服务ID为`sxt`[^2]。 - **HA模式下的NameNode ID** 当启用高可用(HA)特性时,还需要进一步声明各个名称节点的身份标识符: ```xml <property> <name>dfs.ha.namenodes.sxt</name> <value>NN1,NN2</value> </property> <property> <name>dfs.namenode.rpc-address.sxt.NN1</name> <value>node1:8020</value> </property> <property> <name>dfs.namenode.http-address.sxt.NN1</name> <value>node1:50070</value> </property> <property> <name>dfs.namenode.rpc-address.sxt.NN2</name> <value>node2:8020</value> </property> <property> <name>dfs.namenode.http-address.sxt.NN2</name> <value>node2:50070</value> </property> ``` 这些条目用于描述两个不同主机上运行的名字节点实例及其监听端口。 - **自动故障转移机制** 为了让集群能够在主名称节点失效的情况下无缝切换到备用节点,需激活自动故障转移功能,并提供相应的代理类来处理这种转换过程: ```xml <property> <name>dfs.client.failover.proxy.provider.sxt</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> ``` 这段配置使得客户端可以在活动名称节点不可达时通过给定的Java类寻找新的活跃节点继续操作。 - **副本数量** 控制文件复制因子是一个常见的需求,默认情况下每份文件会被保存三份拷贝分布在不同的DataNodes之上;可以通过调整如下选项改变默认行为: ```xml <property> <name>dfs.replication</name> <value>3</value> </property> ``` 这有助于提高系统的容错能力和读取效率[^3]。 - **临时目录路径** 设定临时工作空间的位置也很重要,特别是考虑到安全性和权限管理方面的要求: ```xml <property> <name>dfs.block.local-path-access.user</name> <value>${user.name}</value> </property> ``` 该指令允许特定用户访问本地磁盘中的block文件以便执行某些维护任务或者调试目的。 #### 数据块大小 适当增大或减小数据分片尺寸能显著影响I/O吞吐量以及元数据开销等问题: ```xml <property> <name>dfs.blocksize</name> <value>134217728</value><!-- 即128MB --> </property> ``` 以上就是关于 `hdfs-site.xml` 主要配置项的一些介绍[^1]。 ```bash # 示例命令:查看HDFS在磁盘存储文件内容 cd /hadoop-3.1.3/data/dfs/data/current/BP-349999175-192.168.10/current/finalized/subdir0/ cat blk_1073741825 ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值