生产调优6 HDFS-故障排除

最新推荐文章于 2024-06-25 10:50:09 发布

原创

最新推荐文章于 2024-06-25 10:50:09 发布 · 883 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #大数据

本文详细介绍了HDFS中NameNode故障的处理过程，包括模拟故障、数据恢复及日志分析。同时，讨论了集群安全模式的原理和操作，以及磁盘修复的方法。此外，还涉及到了慢磁盘的监控和小文件归档策略，如使用HDFS存档文件（HAR）进行文件管理。

文章目录

HDFS-故障排除

HDFS-故障排除

这里采用三台服务器即可，我们恢复到Yarn开始保存的服务器快照状态

NameNode故障处理

需求

NameNode 进程挂了并且存储的数据也丢失了，如何恢复 NameNode？

模拟故障

1.kill -9 NameNode进程

[ranan@hadoop102 ~]$ jpsall
=============== hadoop102 ===============
2165 NameNode  #NameNode进程
2888 JobHistoryServer
2684 NodeManager
3021 Jps
2350 DataNode
=============== hadoop103 ===============
2177 DataNode
2408 ResourceManager
2569 NodeManager
2973 Jps
=============== hadoop104 ===============
2320 SecondaryNameNode
2177 DataNode
2633 Jps
2445 NodeManager

2.删除 NameNode 存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name）

[ranan@hadoop102 ~]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*

问题解决

1.假设不知道怎么引起的故障，我们先查看进程,发现NameNode没有启动

[ranan@hadoop102 name]$ jpsall
=============== hadoop102 ===============
2888 JobHistoryServer
2684 NodeManager
3340 Jps
2350 DataNode
=============== hadoop103 ===============
3264 Jps
2177 DataNode
2408 ResourceManager
2569 NodeManager
=============== hadoop104 ============