如何处理NameNode宕机问题

处理 NameNode 宕机问题是 HDFS 运维中的核心技能。根据集群是否配置了高可用，处理方式有本质区别。
第一部分：非 HA 集群的 NameNode 宕机处理
紧急恢复步骤
1. 立即检查与诊断
bash
# 1. 检查 NameNode 进程状态
jps | grep NameNode

# 2. 检查系统资源
top -p $(pgrep -f NameNode)
free -h
df -h  # 检查磁盘空间

# 3. 检查网络连接
netstat -tlnp | grep 8020  # RPC端口
netstat -tlnp | grep 9870  # HTTP端口

# 4. 查看 NameNode 日志
tail -100 /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log
grep -i "error\|exception\|fatal" /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log
2. 尝试重启 NameNode
bash
# 如果只是进程异常，尝试重启
sudo -u hdfs hdfs --daemon stop namenode
sudo -u hdfs hdfs --daemon start namenode

# 或者使用服务管理
systemctl status hadoop-hdfs-namenode
systemctl restart hadoop-hdfs-namenode
3. 检查元数据完整性
bash
# 检查元数据目录
ls -la /data/hadoop/namenode/current/

# 尝试元数据恢复（谨慎操作）
sudo -u hdfs hdfs namenode -recover

# 如果提示需要恢复，选择恢复选项
# 通常选择最早的consistent状态进行恢复
4. 从备份恢复（最坏情况）
bash
# 停止 NameNode
sudo -u hdfs hdfs --daemon stop namenode

# 恢复备份的元数据
cp -r /backup/namenode/* /data/hadoop/namenode/
*/
# 修改权限
chown -R hdfs:hadoop /data/hadoop/namenode
chmod -R 700 /data/hadoop/namenode

# 重新启动
sudo -u hdfs hdfs --daemon start namenode
5. 使用 SecondaryNameNode 的检查点（如果有）
bash
# 如果 SecondaryNameNode 正常运行，可以使用它的检查点
# 1. 停止 NameNode
sudo -u hdfs hdfs --daemon stop namenode

# 2. 从 SecondaryNameNode 复制最新的检查点
rsync -av secondary-nn:/data/hadoop/namesecondary/ /data/hadoop/namenode/

# 3. 重新启动 NameNode
sudo -u hdfs hdfs --daemon start namenode
第二部分：HA 集群的 NameNode 宕机处理
自动故障转移场景
1. 验证自动故障转移状态
bash
# 检查当前 Active NameNode
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

# 检查 ZKFC 状态
jps | grep DFSZKFailoverController

# 检查 ZooKeeper 状态
echo stat | nc zk1.cluster.com 2181
2. 监控故障转移过程
bash
# 查看故障转移日志
tail -f /var/log/hadoop-hdfs/hadoop-hdfs-zkfc-*.log

# 检查新的 Active NameNode
hdfs dfsadmin -report

# 验证数据可访问性
hdfs dfs -ls /
3. 修复故障的 NameNode
bash
# 在故障节点上检查问题
sudo -u hdfs hdfs namenode -checkSharedEdits

# 修复后启动 NameNode（作为 Standby）
sudo -u hdfs hdfs --daemon start namenode

# 启动 ZKFC
sudo -u hdfs hdfs --daemon start zkfc

# 验证状态
hdfs haadmin -getServiceState nn1
手动故障转移场景
1. 执行手动故障转移
bash
# 1. 检查当前状态
hdfs haadmin -getAllServiceState

# 2. 如果 Active 节点无响应，强制故障转移
hdfs haadmin -failover --forcefence --forceactive nn2 nn1

# 3. 验证转移结果
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
2. 隔离故障节点（Fencing）
bash
# 如果自动隔离失败，手动执行
# 方法1: 通过SSH杀死进程
ssh nn1.cluster.com "pkill -f NameNode"

# 方法2: 收回存储访问权限（如果使用共享存储）
# 这取决于您的隔离方法配置
第三部分：根本原因分析与预防
#常见宕机原因及解决方案
故障类型		|症状						|解决方案
内存不足		|GC 频繁，响应缓慢			|增加堆内存，优化 JVM 参数
磁盘空间不足	|无法写入 EditLog			|清理磁盘，监控空间使用
元数据损坏		|启动失败，checksum 错误	|定期备份，使用恢复工具
网络分区		|节点间通信超时				|优化网络，配置超时参数
硬件故障		|物理机宕机					|硬件监控，快速替换
预防性监控配置
1. 关键监控指标
bash
#!/bin/bash
# NameNode 健康检查脚本

# 1. 进程状态:-z:字符串长度是否为0;
NAMENODE_PID=$(jps | grep NameNode | awk '{print $1}')
if [ -z "$NAMENODE_PID" ]; then
    echo "ALERT: NameNode process not found!"
    exit 1
fi

#bc -l 是 bc命令的扩展使用方式，用于加载数学库并执行高精度计算，常用于浮点数运算、三角函数等复杂数学处理。
# 2. 堆内存使用率
HEAP_USAGE=$(jstat -gc $NAMENODE_PID | awk 'NR==2{print ($3+$4+$6+$8)/$9 * 100}')
if (( $(echo "$HEAP_USAGE > 80" | bc -l) )); then
    echo "ALERT: Heap usage ${HEAP_USAGE}%"
fi

# 3. 文件系统健康度
UNDER_REPLICATED=$(hdfs fsck / | grep "Under replicated" | awk '{print $3}')
if [ $UNDER_REPLICATED -gt 100 ]; then
    echo "ALERT: $UNDER_REPLICATED blocks under replicated"
fi

2. 告警配置示例
bash
# 在监控系统中配置以下告警：
# - NameNode 进程状态
# - 堆内存使用率 > 85%
# - GC 时间 > 30秒/分钟
# - 丢失块数量 > 0
# - 宕机 DataNode 数量 > 集群的 10%
第四部分：运维最佳实践
1. 定期备份策略
bash
#!/bin/bash
# NameNode 元数据备份脚本

BACKUP_DIR="/backup/namenode"
DATE=$(date +%Y%m%d_%H%M%S)

# 1. 创建检查点（确保元数据最新）
hdfs dfsadmin -saveNamespace

# 2. 备份元数据目录
tar -czf $BACKUP_DIR/namenode_backup_$DATE.tar.gz /data/hadoop/namenode/current/

# 3. 备份到远程存储
rsync -av $BACKUP_DIR/ backup-server:/remote-backup/hdfs/

# 4. 清理7天前的备份
find $BACKUP_DIR -name "namenode_backup_*.tar.gz" -mtime +7 -delete

2. 日常健康检查
bash
#!/bin/bash
# 日常健康检查

echo "=== HDFS Cluster Health Check ==="

# 1. NameNode 状态
echo "1. NameNode Status:"
hdfs haadmin -getAllServiceState

# 2. 集群容量
echo "2. Cluster Capacity:"
hdfs dfs -df -h

# 3. 块健康状态
echo "3. Block Health:"
hdfs fsck / -files -blocks -locations | grep -E "Status|Under replicated|Missing"

# 4. DataNode 状态
echo "4. DataNode Status:"
hdfs dfsadmin -report | grep "Live datanodes"
3. 性能优化参数
xml
<!-- 在 hdfs-site.xml 中优化 -->
<property>
  <name>dfs.namenode.handler.count</name>
  <value>100</value>
  <description>增加 RPC 处理线程数</description>
</property>

<property>
  <name>dfs.namenode.service.handler.count</name>
  <value>30</value>
  <description>增加服务端处理线程数</description>
</property>

<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
  <description>DataNode 心跳间隔（秒）</description>
</property>
第五部分：紧急响应清单
立即执行的命令
bash
# 1. 确定问题范围
hdfs dfsadmin -report
hdfs haadmin -getAllServiceState

# 2. 检查关键日志
tail -50 /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log

# 3. 验证数据可访问性
hdfs dfs -test -e / && echo "HDFS accessible" || echo "HDFS not accessible"

# 4. 通知相关人员
# - 运维团队
# - 依赖 HDFS 的业务团队
沟通模板
text
【紧急告警】HDFS NameNode 宕机

- 时间: [发生时间]
- 影响: [受影响的服务范围]
- 当前状态: [Active/Standby 状态]
- 恢复预计时间: [如果可估计]
- 临时解决方案: [如有]
请相关团队关注业务影响。
总结
处理 NameNode 宕机的关键点：
快速诊断：先确定是进程、资源还是网络问题
优先恢复服务：在 HA 集群中确保快速故障转移
数据安全第一：非 HA 集群谨慎操作，避免元数据损坏
根本解决：事后必须分析根本原因，完善监控和预防措施
定期演练：对恢复流程进行定期测试
最重要的建议：对于生产环境，务必部署 HDFS HA 集群，这是避免 NameNode 单点故障导致业务长时间中断的唯一可靠方案。