CDH5.6下线Hdfs的DataNode

原创

已于 2023-07-01 23:08:12 修改 · 1.9k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

于 2023-04-11 17:51:19 首次发布

本文介绍了Hdfs的DataNode节点下线的详细操作。包括准备工作，如健康检查、问题处理和带宽调整；确定需下线的节点；使节点进入维护模式；进行退役节点操作，含解除授权和完成解除；最后删除节点。还提及CDH5.6的特殊情况及操作注意事项。

CDH5.6下线Hdfs的DataNode

1、准备工作
2、确定节点
3、维护模式
4、退役节点
- 4.1 解除授权
- 4.2 完成解除
5、删除节点
6、注意事项

1、准备工作

1.1 健康检查

# 退役/下线过程中也需要检查
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations

1.2 问题处理

# 若hdfs出现块问题可进入如下操作处理
hdfs fsck file_name -move
# 或
hdfs fsck file_name -delete

1.3 带宽调整

# balance带宽，平衡带宽值应小于磁盘和网络上的带宽，

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据AI智能圈

关注关注

7
点赞
踩
6

收藏

觉得还不错? 一键收藏
8
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机

直到世界的尽头

01-17

2018

注意事项在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失。比如: 1、同时下线的节点数量太多，如果副本数为3，建议最多同时停用2个DataNode进行下线操作，等待下线完成后，进行副本检查没有问题后再下线其他节点 ----也就是说至少保留一个DataNode 2、...

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结_datanode balance(2)

2401_84586524的博客

05-12

596

hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以。

8 条评论您还未登录，请先登录后发表或查看评论

CDH6下线DataNode节点

新生代农民工Steven

08-10

2216

CDH6下线DataNode方案

CDH5.9.0节点删除下线

12-19

CDH5.9.0集群的节点删除，步骤详细，并附有步骤的截图。

CDH中HDFS的部分Datanode下线

storm_fury

07-31

3467

【CDH实战】- 01.安装Cloudera_Hadoop集群（CentOS6.5+CDH 5.6）

01-07

CDH 5.6 操作系统基本设置 # IP设置 # Hostname 设置 # hosts 设置 # selinux 设置 # 防火墙设置配置 httpd 服务 # 检查 httpd 是否安装 # 安装 httpd # 启动httpd服务 service httpd restart 设置必要的软件 yum...

HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机

qq_35583154的博客

04-03

6153

今天来公司发现hadoop集群出现了HDFS DataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法：目录： 1、将HDFS备份数降低 2、删除无用HDFS数据和Hbase表格 3、设置kafka的日志时间 4、删除本机无用文件 5、清理Trash回收站 6、Balancer重新平衡 1、将备份数降低 1）将默认的备...

【大数据】HDFS DataNode节点下线

最新发布

zxln007的博客

10-13

1122

在对datanode节点分批次做Decommission下线过程中，当datanode状态已经为Decommissioned状态时然后停止进程，若此时立即进行下一批次的下线，上一批次的datanode被从exclude文件中删除刷新，此时的datanode依然是会被分配读取数据的，会造成块的丢失状态。所以datanode真正被正式下线的标志是在两个namenode的日志里出现“BLOCK* removeDeadDatanode: lost heartbeat ”。停相应的datanode进程。

CDH 集群服务器下线记录

ChengYanan的博客

01-04

1357

CDH测试集群原来有5台服务器，现在需要下线其中的4号和5号服务器。服务器上主要有如下服务：要保证服务器平稳下线，所以就需要将这些节点一个个的轮流停止，万一中间那个环节报错了，也好排查。先从对整个集群影响最大的节点开始： zookeeper 因为几乎所有的高可用分布式服务都是依赖zookeeper的，所以先下线zk节点。 zookeeper直接停止4,5两台服务器上的zkServer，然后删除，然后cm会提示需要重启整个集群，按指示操作即可。 Kudu TabletServer下线 kudu表建表时

cdh下线节点

qq_38461703的博客

06-29

813

1. 2. 3. 4. 5. systemctl stop cloudera-scm-agent 6.

Hadoop Datanode和Nodemanager下线操作

weixin_42049345的博客

09-06

1075

在exclude_datanode_hosts和exclude_nodemanager_hosts文件中分别写入要下线的节点ip。

CDH 使用 CM下线节点

mc的博客

02-10

2270

本文档为cdh集群，下线/上线节点操作文档。 CM 集群下线节点，主要参考官方文档：操作前调优文档： https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_decomm_host.html#concept_urw_wyw_cy 操作文档：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_host_maint.html#

CDH主机下线

eyeofeagle的博客

11-24

1035

文章目录1，配置hdfs, hbase: 提高下线速度2，主机：进入维护模式3, 主机解除授权: Decommission(退役)解除授权的操作细节hdfs 数据转移hbase数据转移参考：https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cm_mc_decomm_host.html 1，配置hdfs, hbase: 提高下线速度 ########## hdfs ############# #依据迭代设置复制工作乘数器 dfs

Hadoop集群DataNode节点下线操作流程

起风了Samuel

09-09

945

hadoop集群 DataNode节点下线/删除/退役 Decommission Datanode

在hadoop集群DataNode动态服役、下线节点

qq_53169545的博客

06-20

1157

CDH6下线清理节点

sunxunyong的博客

09-12

739

3.执行: 主机->所有主机->勾选主机->Remove From Cloudera Manager。2.执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"注意：datanode、kafka节点，请勿同时下线2台以上的数据节点，可能会造成数据丢失！1.执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色。清空数据目录（安装根位置）删除其他目录(有则修改)1、登录cdh管理界面。

HBase/HDFS 删除节点

u011250186的博客

08-03

686

HBase/HDFS 删除节点

【转】Cloudera Manager 中如何正确的下线节点

liuwei0376的专栏

12-20

1481

最低要求的角色：超级管理员（所谓超级管理员就是 admin）可以通过两种方式从集群中删除主机：使用 Cloudera Manager 删除；从集群 A 中删除主机，将其提供给由 Cloudera Manager 管理的其他集群；两种方法都会涉及退役主机(decommission)、删除角色(role)、删除托管服务软件(service)，但最终都会保留数据目录。使用 Cloudera...

cdh5.6集群部署手册

08-01

CDH 5.6集群部署手册是针对Cloudera Distribution for Hadoop (CDH) 5.6版本的集群部署指南。以下是一个简要的回答，介绍一些基本的内容以供参考。首先，安装操作系统。手册中会列出所需的操作系统版本和安装要求...