hdfs Non DFS Used 占用空间大,用du -h 看磁盘空间还在,但web页面显示Non DFS Used占用了特别多的空间,整个集群的Remaining空间几乎没有了
解决方案:
重启hadoop 的 historyserver
重启hadoop 的 historyserver
mr-jobhistory-daemon.sh start historyserver
重启dfs
start-dfs.sh
产生的原因:
因为集群里启动了historyserver,这个进程在删除了临时文件之后,并没有释放文件句柄,所以导致Non DFS
Used 数值很大,而用df和du查看的时候,磁盘空间并未被占用
当Hadoop集群的Non DFS Used占用空间快速增加时,可能导致Remaining空间几乎耗尽。问题源于historyserver进程在删除临时文件后未释放文件句柄,导致Non DFS Used数值异常增大,而实际磁盘空间使用情况正常。解决方法是检查并优化historyserver的文件句柄管理。
2万+

被折叠的 条评论
为什么被折叠?



