non dfs used 和dfs remaining区别

最新推荐文章于 2024-07-08 18:31:14 发布

chuanjiaoye5017

最新推荐文章于 2024-07-08 18:31:14 发布

阅读量844

点赞数

文章标签：大数据

原文链接：https://my.oschina.net/mkh/blog/264750

版权

DFS Used hadoop文件系统所使用的空间
Non DFS Used 非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件

转载于:https://my.oschina.net/mkh/blog/264750

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chuanjiaoye5017

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HDFS中Non DFS Used使用过大

心向，往之

11-06

6760

问题描述：在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%）所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量 ...

hadoop集群Non DFS Used占用空间迅速增长的问题

bottle123的专栏

11-16

5192

hdfs Non DFS Used 占用空间大，用du -h 看磁盘空间还在，但web页面显示Non DFS Used占用了特别多的空间，整个集群的Remaining空间几乎没有了解决方案：重启hadoop 的 historyserver mr-jobhistory-daemon.sh start historyse

参与评论您还未登录，请先登录后发表或查看评论

hadoop之non dfs used

zxl1033394132的专栏

09-11

2527

最近总是被问到ambari上显示的磁盘上磁盘使用率上non dfs used是指什么，之前的回复都是“不是hdfs使用的空间，比如说系统linux本身文件占用的空间等”，朋友表示解释的不够准确。无意间看到一个老外在stackoverflow上写的例子，感觉还是很有道理的，表述如下： “non dfs used”可以通过如下公式进行计算：non dfs used = configured capac

记一次HDFS空间清理：Non DFS Used

激进的蜗牛

10-23

5297

文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的数据量实在是庞大。但随着入职时间的增加，在进行日常运维的时候发现了一些不太合乎逻辑的问题。比如我们看到的告警信息如下机器的总容量是7.8T

Hadoop hdfs界面：Hadoop Non DFS Used大小问题

TURING.DT

11-17

6423

最近研究hadoop hdfs 中NonDFSUsed容量是什么，Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。有的时候你会发现HDFS UI界面上显示的Non DFS Used很大，但实际的服务器上都没有那么大的空间了，看看下边的解释： Non DFS Used = Configured Capacity

hadoop Non DFS Used是什么

weixin_30471561的博客

11-13

266

首先我们先来了解一下Non DFS User是什么？ Non DFS User的意思是：非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件它的计算公式： non dfs used = configured capacity - remaining space - reserved space 如果给datanode配置了预留磁盘空间参数的...

如何查看存储系统信息？Configured Capacity、DFS Remaining、Non DFS Used、DFS Used、Live Nodes分别表示什么？

11-01

这部分等于DFS Remaining加上Non DFS Used。 5. **Live Nodes**: 活跃的DataNode节点数，也就是那些正常运行并且能够响应客户端请求的节点。要查看这些信息，你可以运行如下命令（假设使用的是Hadoop 2+版本）： ...

Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小

weixin_34387284的博客

01-04

2668

2019独角兽企业重金招聘Python工程师标准>>> ...

[root@hadoop04 ~]# hadoop jar ./film2.jar CleanDriver /film/input /film/outputs/cleandata 25/03/15 15:11:24 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.100.104:8032 Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop04:9000/film/input already exists at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146) at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1762) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) at CleanDriver.main(CleanDriver.java:36) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:226) at org.apache.hadoop.util.RunJar.main(RunJar.java:141) [root@hadoop04 ~]# hdfs dfsadmin -report Configured Capacity: 54716792832 (50.96 GB) Present Capacity: 45412380672 (42.29 GB) DFS Remaining: 45412196352 (42.29 GB) DFS Used: 184320 (180 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0 ------------------------------------------------- Live datanodes (3): Name: 192.168.100.105:50010 (hadoop05) Hostname: hadoop05 Decommission Status : Normal Configured Capacity: 18238930944 (16.99 GB) DFS Used: 61440 (60 KB) Non DFS Used: 3007356928 (2.80 GB) DFS Remaining: 15231512576 (14.19 GB) DFS Used%: 0.00% DFS Remaining%: 83.51% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Sat Mar 15 15:11:46 CST 2025 Name: 192.168.100.104:50010 (hadoop04) Hostname: hadoop04 Decommission Status : Normal Configured Capacity: 18238930944 (16.99 GB) DFS Used: 61440 (60 KB) Non DFS Used: 3289276416 (3.06 GB) DFS Remaining: 14949593088 (13.92 GB) DFS Used%: 0.00% DFS Remaining%: 81.97% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Sat Mar 15 15:11:46 CST 2025 Name: 192.168.100.106:50010 (hadoop06) Hostname: hadoop06 Decommission Status : Normal Configured Capacity: 18238930944 (16.99 GB) DFS Used: 61440 (60 KB) Non DFS Used: 3007778816 (2.80 GB) DFS Remaining: 15231090688 (14.19 GB) DFS Used%: 0.00% DFS Remaining%: 83.51% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Sat Mar 15 15:11:46 CST 2025 [root@hadoop04 ~]#

最新发布

03-16

因此，检查`CleanDriver.java`中的相关代码，特别是处理参数和设置路径的部分是否正确。总结解决步骤：1. 检查命令行参数顺序。2. 删除已存在的输出目录。3. 确保代码中正确设置输出路径。如果用户确认路径设置...

HDFS基础操作

weixin_43203897的博客

02-23

434

HDFS基础操作 HADOOP文件系统（对文件进行操作） bin hadoop的二进制的执行文件 sbin 封装的bin目录的二进制执行文件的脚本，集群管理脚本（start-dfs.sh start-yarn.sh）启动hdfs start-dfs.sh stop-dfs.sh 启动yarn start-yarn.sh stop-yarn.sh 启动单实例的一个进程（单独启动一个datano...

Hadoop之Non DFS Used大小分析

breakout_alex的博客

03-19

949

Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。计算公式：Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量具体计算过程： Non DFS Used = Configured Capacity - Remaining Space - DFS Used Configured Capacity =...

hadoop命令 - Hadoop Non DFS Used concept

Mrknowledge

09-27

3456

使用hadoop dfadmin –report,结果如下： [grid@h1 hadoop]$ bin/hadoop dfsadmin-report Configured Capacity: 33518518272 (31.22 GB) Present Capacity: 17089126400 (15.92 GB) DFS Remaining:17088819200 (15.9

hadoop2.3.0错误之Configured Capacity: 0 (0 B)Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used:

zjq4119的专栏

04-16

7357

发现自己真是。。。今天的错误跟之前的

datanode非dfs预留空间设置

Adolph的专栏

10-27

947

在使用hdfs存储的时候可能会遇到一个问题：明明设置hadoop dfs.datanode.du.reserved预留空间的，但是磁盘还是被写满了。当你挂载磁盘作为datanode的存储空间，如果磁盘大小为500G当你使用df -h 可能会发现上面显示（举个例子）：总磁盘大小500G，使用了430G，剩余50G，这里就会有个问题：500G-（430G+50G）=20G，还差了20G空

Non-Transitive Dice（暴力/dfs/水）

weixin_43918473的博客

01-30

534

题目为了消磨牛棚里的时光，奶牛们喜欢玩简单的骰子游戏。其中一种游戏使用两个骰子 X 和 Y 进行。两个骰子均被投掷，获胜的骰子是显示的数字较大的骰子。如果两者显示相同的数字，则重新投掷（只要持续打平，骰子可能会被重新投掷多次）。我们称骰子 X 击败骰子 Y，如果骰子 X 比骰子 Y 更有可能赢得这局游戏。考虑以下的 4 面骰子：骰子 A 在各面上有数字 4，5，6 和 7。骰子 B 在各面上有数字 2，4，5 和 10。骰子 C 在各面上有数字 1，4，8 和 9。这些骰子满足一个相当奇妙的性质

HDFS非DFS存储突增问题分析

sunxunyong的博客

07-08

545

Reserved Space指的是配置项(dfs.datanode.du.reserved)所配置的内容，是HDFS自己预留的，一般为30G。当HDFS配置容量暴增，但是HDFS使用的存储并没有突增时，考虑Non DFS Used占用增大。Non DFS Used是指DFS数据存储目录所属卷的非DFS数据占用的空间！例如：Impala程序存在大量溢出内存，到磁盘的数据！分析HDFS数据目录，查看其他程序占用增大，定位问题点。DFS Used指的是HDFS使用的空间。

DFS Used%: NaN%问题

weixin_30363981的博客

07-13

1034

一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blo...

hadoop的Configured Capacity和DFS Remaining变成0的解决办法

走走看看

09-13

5265

Configured Capacity: 0 Configured Remote Capacity: 0 B DFS Used: 0 KB (0%) Non DFS Used: 0 GB DFS Remaining: 0 GB (0%) Block Pool Used: 0 KB (0%) DataNodes usages% (Min/M...

datanode无法启动或 DFS Used% ：100 % 或 Live Nodes

wangxiaopeng0329的博客

07-17

2371

配置文件hdfs-site.xml中的dfs.data.dir属性设置的目录有误，我修改为/home/grid/hadoop1.1.2/hdfs/data，在/home/grid/hadoop1.1.2/目录下执行以下命令， mkdir hdfs mkdir hdfs/data chmod 755 hdfs/data -该属性设置不对的话，日志中会有错误同时把replic