如何处理DataNode宕机问题

第一部分：HDFS 的自动容错机制
在深入手动处理之前，必须理解 HDFS 的自动恢复能力。当 DataNode 宕机时，HDFS 会自动执行以下流程：
心跳检测：NameNode 发现与 DataNode 的心跳丢失（默认超时时间为 10分30秒）。
标记死亡：NameNode 将该 DataNode 标记为 "Dead"，并不再向其派发任何新的 I/O 请求。
副本数检测：NameNode 检查所有数据块，找出那些副本数量低于配置值（默认为 3）的块。
触发复制：NameNode 安排其他健康的 DataNode，从剩余的副本中复制这些不足的块，直到满足 dfs.replication 配置的副本数。
关键点：对于临时性故障，您通常不需要立即手动干预，HDFS 会自动处理。

第二部分：处理流程 - 诊断与恢复
1. 确认宕机与影响评估
bash
# 1. 查看 DataNode 状态报告
hdfs dfsadmin -report
# 关注 "Live datanodes" 和 "Dead datanodes" 数量

# 2. 检查 NameNode Web UI
# 访问 http://<namenode_host>:9870/dfshealth.html
# 查看 "Live Nodes" 和 "Dead Nodes" 列表

# 3. 检查块的健康状况（重点）
hdfs fsck / -files -blocks -locations
# 关注输出中的：
# - "Under replicated blocks"：副本不足的块数量
# - "Missing blocks"：完全丢失的块数量（最严重！）
# - "Corrupt blocks"：损坏的块数量

# 4. 查看具体丢失的块信息
hdfs fsck / -list-corruptfileblocks
2. 分析宕机原因
通过上述检查，结合 DataNode 的日志，分析根本原因：

查看 DataNode 日志：

bash
tail -100 /var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log
grep -i "error\|exception\|fatal" /var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log
常见原因：

网络问题：网络分区、交换机故障
磁盘问题：磁盘满、磁盘损坏、IO 瓶颈
资源不足：内存耗尽、CPU 过载
进程异常：Java 进程崩溃、GC 时间过长

3. 恢复操作
根据不同的原因，采取不同的恢复策略。
场景一：临时性故障（网络、进程异常）

bash
# 1. 登录故障节点，检查基础环境
ping <namenode_host>       # 检查网络连通性
df -h                      # 检查磁盘空间
jps                        # 检查进程是否存在

# 2. 如果进程不存在，重启 DataNode
# 使用服务管理（推荐）
systemctl status hadoop-hdfs-datanode
systemctl restart hadoop-hdfs-datanode

# 或者使用Hadoop命令
sudo -u hdfs hdfs --daemon stop datanode
sudo -u hdfs hdfs --daemon start datanode

# 3. 监控恢复状态
# 等待一段时间（超过心跳超时时间），然后再次检查
hdfs dfsadmin -report
hdfs fsck / -files -blocks -locations | grep "Under replicated"
场景二：磁盘空间不足

bash
# 1. 在 DataNode 上清理磁盘空间
# 查找大文件或日志文件
find /data/hadoop/datanode/ -type f -size +1G
find /var/log/ -name "*.log*" -size +100M

# 2. 清理不必要的文件（谨慎操作！）
# 归档或删除旧日志
# 注意：不要直接删除数据块文件！

# 3. 如果有其他挂载点，可以添加新的数据目录
# 在 hdfs-site.xml 中修改 dfs.datanode.data.dir
# 然后重启 DataNode

# 4. 重启后验证
hdfs dfsadmin -report
场景三：永久性故障或节点退役
如果节点需要永久下线，应使用退役流程，保证数据安全迁移。

bash
# 1. 将节点添加到 exclude 文件
# 在 NameNode 上，编辑 exclude 文件（由 dfs.hosts.exclude 参数定义）
echo "failed_datanode_hostname" >> /etc/hadoop/conf/dfs.exclude

# 2. 刷新 NameNode 节点列表
hdfs dfsadmin -refreshNodes

# 3. 监控退役进度
# 此时，NameNode 会开始将该节点上的块复制到其他健康节点
# 在 Web UI 上，该节点会进入 "Decommission In Progress" 状态

# 4. 等待退役完成
# 当所有块都复制完成后，节点状态变为 "Decommissioned"
hdfs dfsadmin -report

# 5. 安全下线
# 确认节点已退役后，可以安全地停止该节点服务
systemctl stop hadoop-hdfs-datanode
第三部分：监控与验证
1. 关键监控指标
Dead DataNodes 数量
Under Replicated Blocks 数量
Missing Blocks 数量（必须为 0）
Total Capacity 变化

2. 恢复验证脚本
bash
#!/bin/bash
# check_dn_recovery.sh

echo "=== DataNode Recovery Status ==="

# 检查存活节点
LIVE_NODES=$(hdfs dfsadmin -report | grep "Live datanodes" | awk -F' ' '{print $3}')
echo "Live DataNodes: $LIVE_NODES"

# 检查副本不足的块
UNDER_REPLICATED=$(hdfs fsck / -files -blocks -locations 2>/dev/null | grep "Under replicated" | awk -F' ' '{print $3}')
echo "Under Replicated Blocks: $UNDER_REPLICATED"

# 检查丢失的块（最关键的指标）
MISSING_BLOCKS=$(hdfs fsck / -list-corruptfileblocks 2>/dev/null | wc -l)
echo "Missing Blocks: $MISSING_BLOCKS"

# 告警判断
if [ "$MISSING_BLOCKS" -gt 0 ]; then
    echo "CRITICAL: Missing blocks detected! Immediate action required."
    exit 1
elif [ "$UNDER_REPLICATED" -gt 1000 ]; then
    echo "WARNING: High number of under-replicated blocks."
    exit 1
else
    echo "SUCCESS: Cluster is healthy."
    exit 0
fi

第四部分：高级故障处理与优化
1. 处理 "Missing Blocks" 紧急情况
如果 hdfs fsck 报告有丢失的块，说明某些文件的所有副本都丢失了。

bash
# 1. 列出所有包含丢失块的文件
hdfs fsck / -list-corruptfileblocks

# 2. 尝试删除损坏的文件以清理命名空间（谨慎！）
# 只有确认文件可以丢失或可以从备份恢复时执行
hdfs fsck / -delete

# 3. 或者，移动损坏的文件到隔离区
hdfs fsck / -move
2. 加速副本恢复
当有大量副本需要恢复时，可以调整参数加速：

bash
# 临时提高恢复并发度（在 NameNode 上）
hdfs dfsadmin -setBalancerBandwidth 104857600  # 设置平衡带宽为 100 MB/s

# 或者调整 HDFS 参数（在 hdfs-site.xml 中）
# <property>
#   <name>dfs.namenode.replication.work.multiplier.per.iteration</name>
#   <value>10</value>  <!-- 默认是2，增加此值可提高每轮复制的任务数 -->
# </property>

3. 预防性措施
监控告警：对 Dead DataNodes 和 Under Replicated Blocks 设置告警
定期巡检：每日执行 hdfs fsck 检查块健康状况
容量规划：确保集群有足够的冗余容量（通常预留 20-30%）
硬件监控：监控磁盘 SMART 状态、网络连通性

总结：DataNode 宕机处理清单
确认：使用 hdfs dfsadmin -report 确认节点状态
评估：使用 hdfs fsck 评估数据块影响
诊断：查看日志，确定根本原因

恢复：

临时故障 → 重启服务
资源问题 → 清理或扩容
永久故障 → 执行退役流程
验证：监控 Under Replicated Blocks 数量直至归零
优化：分析根本原因，完善监控和预防措施
记住，HDFS 的强大之处就在于其内置的容错能力。在大多数情况下，您只需要确保 NameNode 健康，
系统就能自动从 DataNode 故障中恢复。您的工作重点是监控、诊断和加速这一自动过程。