本文分析了在Cloudera Manager中HDFS容量显示与通过HDFS界面和命令行得到的实际使用量不一致的情况。问题在于Cloudera Manager的显示包括了DFS和非DFS使用的空间，而Non DFS Used部分是为系统和其他非HDFS文件预留的空间。当非HDFS文件占用超过预留空间时，会占用DFS容量，导致显示差异。解决方案是理解DN节点硬盘预留和非HDFS文件占用的情况。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.问题描述
通过Cloudera Manager看到HDFS的容量使用显示为103.9GB
通过HDFS的50070界面查看到HDFS的容量使用情况为41.63GB
使用hadoop fs -du –h /命令查看HDFS的使用情况，HDFS的使用为41.63GB
疑问：为什么Cloudera Manager上显示HDFS空间的使用量会比HDFS真实使用量大很多？
2.问题分析
在Cloudera Manager上鼠标停留在HDFS容量配置上会显示容量使用说明，如下图所示：
CM上显示HDFS配置容量由两部分组成DFS使用的空间和非DFS使用的空间两部分组成。
接下来我们再看看HDFS的50070界面的统计信
最低0.47元/天 解锁文章
扫一扫
403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
