CDH HDFS 概念集合

本文探讨了HDFS中的两种关键模式:Decommission(节点停服转移数据)与Maintenance(短暂维护不接受写入)。同时介绍了刷新HDFS配置的实用技巧,以应对在线修改配置的需求。了解这些模式有助于确保分布式存储系统的高可用性和配置实时生效。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Maintenance Mode

节点进入维护模式,不再接受写入请求,临时离开下很快回来。

基本不转移节点上的数据(除非其他节点上都没有该数据副本)需要很短时间。

HDFS Maintenance State_Android路上的人的博客-优快云博客前言初一看文章标题,很多人可能比较奇怪“HDFS Maintenance”是什么意思,“HDFS包含”的意思?首先Maintenance这个形似Maintain的单词可不是什么包含的意思,它的解释是维护,维修。那么HDFS Maintenance具体是什么意思呢,HDFS处于维护状态?说起维护状态,我们不禁可以联想到HDFS RollingUpgrad,没错,RollingUpgrade确实与HDFhttps://blog.youkuaiyun.com/Androidlushangderen/article/details/54731243

Decommission Mode

节点进入不接受服务状态,不再接受写入请求,离开很长一段时间不知道还回不回来。

转移节点上的所有数据(达到HDFS设置的replication参数要求)需要较长时间。

聊聊分布式存储系统的Decommission和Maintenance模式_Android路上的人的博客-优快云博客文章目录前言Decommission模式Maintenance模式Decommission/Maintenance过程中的限流处理前言在分布式存储系统中,我们经常会遇到节点坏了挂掉的情况。这个时候我们通常的做法是将其进行送修处理。节点出现问题挂了这个现象本身不严重,这里的重点是我们如何依然保证其上数据对于用户的高可用性。这就是我们常说的存储节点的Decommission过程。本文笔者来聊聊D...https://blog.youkuaiyun.com/Androidlushangderen/article/details/98887363?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-5.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-5.pc_relevant_antiscanv2&utm_relevant_index=9

Refresh HDFS Configuration

在很多时候,修改了hadoop的配置后,希望立即生效,但是线上还有任务在执行,不能重启,可以执行以下命令让修改后的hdfs/yarn配置生效

https://www.youkuaiyun.com/tags/MtTaEgwsNDM3NzMtYmxvZwO0O0OO0O0O.htmlhttps://www.youkuaiyun.com/tags/MtTaEgwsNDM3NzMtYmxvZwO0O0OO0O0O.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值