HDFS非DFS存储突增问题分析

Non DFS Used是指DFS数据存储目录所属卷的非DFS数据占用的空间!
Non DFS used = ( Total Disk Space - Reserved Space) - Remaining Space - DFS Used
Reserved Space指的是配置项(dfs.datanode.du.reserved)所配置的内容,是HDFS自己预留的,一般为30G
Remaining Space指的是剩余空间
DFS Used指的是HDFS使用的空间

当HDFS配置容量暴增,但是HDFS使用的存储并没有突增时,考虑Non DFS Used占用增大。
分析HDFS数据目录,查看其他程序占用增大,定位问题点。
例如:Impala程序存在大量溢出内存,到磁盘的数据!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值