CDH 集群 HDFS 热插拔磁盘操作注意事项

1. 热插拔磁盘时，仅可用于新增空的数据目录
热插拔操作仅适用于新增尚未写入数据的磁盘。
若将已使用过的 HDFS 数据盘热插拔接入 DataNode，可能会因数据目录不一致、block 元数据冲突等引发 NameNode 报错或副本异常。
正确做法：添加新磁盘 → 格式化 → 挂载 → 配置为空数据目录 → 重启 DataNode。
2. 通过 Cloudera Manager (CM) 移除磁盘配置不会自动清除磁盘数据
在 CM 中移除某个磁盘路径（即从 dfs.datanode.data.dir 中剔除）时：
并不会删除该磁盘上的 block 数据；
若未物理移除磁盘或清除数据，后续操作可能会被错误识别为“数据目录恢复”，引发元数据冲突；
若磁盘被其他 DataNode 使用，存在数据丢失风险（HDFS 认为数据副本缺失，会触发重复制）。
建议：
在 CM 移除磁盘路径后，立即停用该磁盘或清理其数据。
最好在 DataNode 停止状态下完成移除操作。
3. 严禁在多个 DataNode 上同时进行磁盘热插拔操作
多节点并行进行热插拔操作可能导致：
集群副本数量骤降；
NameNode 报警；
集群负载不均衡；
数据丢失风险增加（特别是在副本数为2的环境中）。
建议：
分批次操作，一次只维护一个 DataNode 节点；
每次操作后观察 DataNode 状态和 NameNode 副本健康情况；
必要时手动触发 HDFS balancer 平衡副本。
CDH社区版及CDP商业试用版-安装资源申请