0443-CM上HDFS容量显示与实际命令不一致问题分析

最新推荐文章于 2024-07-01 21:10:16 发布
原创 最新推荐文章于 2024-07-01 21:10:16 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分析了在Cloudera Manager中HDFS容量显示与通过HDFS界面和命令行得到的实际使用量不一致的情况。问题在于Cloudera Manager的显示包括了DFS和非DFS使用的空间，而Non DFS Used部分是为系统和其他非HDFS文件预留的空间。当非HDFS文件占用超过预留空间时，会占用DFS容量，导致显示差异。解决方案是理解DN节点硬盘预留和非HDFS文件占用的情况。

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.问题描述

通过Cloudera Manager看到HDFS的容量使用显示为103.9GB

通过HDFS的50070界面查看到HDFS的容量使用情况为41.63GB

使用hadoop fs -du –h /命令查看HDFS的使用情况，HDFS的使用为41.63GB

疑问：为什么Cloudera Manager上显示HDFS空间的使用量会比HDFS真实使用量大很多？

2.问题分析

在Cloudera Manager上鼠标停留在HDFS容量配置上会显示容量使用说明，如下图所示：

CM上显示HDFS配置容量由两部分组成DFS使用的空间和非DFS使用的空间两部分组成。

接下来我们再看看HDFS的50070界面的统计信

最低0.47元/天 解锁文章
大数据运维存档（3）HDFS&ZooKeeper调优与排障
Big_data_implicit_
12-26 403
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ②HDFS容量是否过阈值 1.2、HDFS UI 巡检 1.2.1、summary巡检 对应上图所示标号，逐一进行解释： （1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W （2）H.
大数据运维存档（1）HDFS常识整理
Big_data_implicit_
12-26 287
hdfs的设计理念 可移植性 流式数据访问（高吞吐量而不是低延时） 分布式存储解决大规模数据存储 硬件故障是常态而不是异常 最高效的数据访问模式：一次写入，多次读取（数据的简单一致性） 一、数据块（block） HDFS原理白话讲就是将大文件分为若干个块，将这些块散落在不同的服务器上进行存储。 1.1 数据块大小如何设置 在hdfs配置文件hdfs-site.xml中，通过dfs.blocksize参数配置 1.2 为什么hdfs的数据块这么大 hadoop 1.x默认块大.
记一次查找Hdfs磁盘占用空间比实际存储文件大4倍的原因
weixin_34266504的博客
10-23 2549
2019独角兽企业重金招聘Python工程师标准>>> ...
值得一提：关于 HDFS 的 file size 和 block size
热门推荐
samhacker的专栏
04-07 2万+
一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。
CM记录-Hadoop 分布式文件系统HDFS（登录、配置、监控）
weixin_30652879的博客
10-17 443
1.登录（浏览器输入ip地址：7180，登录用户名和登录密码即可） 2.CM主界面（各个组件，监控图表，绿色代表运行正常、黄色代表运行不良，需要关注根据实际情况调整，红色代表故障，需要排查问题） 3.点击左边的HDFS进入HDFS管理主页 4.查看HDFS运行实例 5.查看配置-服务范围-高级（根据实际情况进行调整） 6.查看配置-DataNode Default Grou...
HDFS文件系统的容量
王傲旗的大数据之路
11-01 5639
什么是文件系统? 就是存取文件的系统 什么是容量? 能放多少东西就叫容量 先上图 上图中有6个服务器,每个服务器中有4个T的硬盘,问一共是多少T? 上面写着呢 是 HDFS的容量就为24T: 其中里面服务器之间任意一台服务器访问HDFS里面的数据,都可以访问到 ...
hdfs的空间容量
lepton126的专栏
03-08 2498
在安装hadoop完成后，发现hdfs文件系统的空间容量极小，平均下来每个数据节点只提供了50G大小的容量。操作系统环境是centos7 mini ，硬盘分区化时缺省是给根目录分配了50G ，而将绝大多数的空间都分配给了 home目录，hdfs文件系统的配置文件hdfs-site.xml中的dfs.namenode.name.dir和 dfs.datanode.data.dir...
【高效HDFS Block管理】：优化存储效率与数据安全的终极指南
对于Hadoop的初学者来说，了解HDFS Block的管理对于深入掌握其数据存储与处理的效率至关重要。本章节将概述HDFS Block管理的基本概念，解释它在Hadoop生态系统中的重要性，以及它对于大数据存储解决方案
NoSQL数据库CAP理论实战案例：理论在实际中的应用分析
文章深入分析了不同类型的NoSQL数据库如何在CAP三要素间做出权衡，并通过实战案例揭示了CAP理论在实际应用中的效果和挑战。此外，本文还探讨了CAP理论在分布式系统一致性算法以及存储和缓存系统中的应用。最后，文章...
(3)Hadoop HDFS 容量
sun
02-04 4855
HDFS 上每个数据节点最多能存储多少数据取决于节点的硬盘大小。对于单个节点来说，其存储的容量为磁盘容量减去hdfs-site.xml配置文件中dfs.datanode.du.reserved参数值。 dfs.datanode.du.reserved 900000000000 Reserved space in bytes per volume. Always leave this muc
HDFS存储容量扩充
u010842515的博客
04-29 3316
本文涉及到Linux磁盘挂载，首先先扩充Linux 系统磁盘容量： 我采用的是viutualbox虚拟机上安装的centos系统。 1. 添加新硬盘       设置 -> Storage -> SATA控制器->右击，选择“添加虚拟硬盘”       然后，根据需求创建合适的硬盘  2. 重启虚拟机       查看现有的磁盘空间          sudo fdisk -l
问题解决1@hdfs实际数据和备份数据不一致
骑猪喝咖啡
03-09 1636
Fsck检查HDFS，发现副本缺失; hadoop fsck / | grep replicated | grepTarget |awk -F ":" '{print $1}' |xargs hadoop fs -setrep -R 3
hadoop集群一台机器多块磁盘存储不均问题
ImezZ
01-05 2361
在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。 1、数据存储磁盘参数设置多个磁盘目录 剩余磁盘空间大的在前面 <property> <name>dfs.data.dir</name> <value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value> </property> 2、datanode多存储
HDFS中dfs.datanode.du.reserved系统预留容量详解(一)
hweinifengkuang的博客
07-16 3271
目录： HDFS中dfs.datanode.du.reserved系统预留容量详解(一) HDFS中dfs.datanode.du.reserved系统预留容量详解(二) 使用hadoop版本为2.8.4，查看小结可以直接跳转到结尾。 1、dfs.datanode.du.reserved介绍 dfs.datanode.du.re...
关于HDFS中dfs.datanode.du.reserved系统空间预留参数
心向，往之
09-12 7567
dfs.datanode.du.reserved 官方解释为：适用于非分布式文件系统 (DFS) 使用的保留空间（字节/卷）。 通俗的意思：预留磁盘的一部分空间给操作系统用，这个参数主要是为了防止磁盘空间被写满导致的HDFS异常。通常系统默认保留5%的磁盘空间给操作系统用。 那么每个盘可用的HDFS存储空间是：（总存储空间 - dfs.datanode.du.reserved ），其在 hd...
hadoop配置文件 -- hdfs-site.xml(updating)
大怀特的博客
10-13 1030
dfs.datanode.du.reserved dfs.datanode.du.reserved表示的是datanode在对磁盘写数据的时候，保留多少空间给非HDFS使用。这个参数主要是为了防止磁盘空间被写满导致的HDFS异常。 最近遇到一个HDFS磁盘空间写满的问题，原因也很简单，就是因为dfs.datanode.du.reserved这个参数没有考虑到操作系统保留块空间的问题。 比如： 一块4T的盘，格式化完了以后剩下3.6T，去掉5%的系统保留空间，就剩下3.4T。 但是hbase是按照磁
dfs.datanode.du.reserved的含义
www.hohode.com
02-24 1162
表示在datanode对磁盘写时候，保留多少非dfs的磁盘空间，从而避免dfs将所在的磁盘写满 ，但在0.19.2中该参数存在bug 。
HDFS中dfs.datanode.du.reserved系统预留容量详解(二)
hweinifengkuang的博客
07-16 1270
目录： HDFS中dfs.datanode.du.reserved系统预留容量详解(一) HDFS中dfs.datanode.du.reserved系统预留容量详解(二) 使用hadoop版本为2.8.4，查看小结可以直接跳转到结尾。 1、本节介绍 HDFS中dfs.datanode.du.reserved系统预留容量详解(一)...
如何规划HDFS容量？
X2469974125的博客
07-01 629
HDFS DataNode以Block的形式，保存用户的，同时在NameNode中生成一个，对应DataNode中每个文件、目录和Block。NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，NameNode文件对象总量增加，需要消耗更多的内存，使集群现有硬件可能会难以满足业务需求，且导致集群难以扩展。规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。
用Xshellhdfs dfs -ls - 查看文件和目录 hdfs dfs -mkdir - 创建目录 hdfs dfs -mv - 移动文件 hdfs dfs -rm - 删除文件 hdfs dfs -cp - 复制文件 hdfs dfs -cat - 查看文件内容 hdfs dfs -put - 上传文件 hdfs dfs -get - 下载文件结果图
最新发布
11-02
<think>我们被要求提供使用Xshell执行HDFS dfs命令的结果图。但由于当前环境是文本交互，无法直接生成图片，我将用文字描述每个命令的典型输出结果，并尽可能模拟终端显示效果。 注意：以下输出是基于典型Hadoop环境的模拟，实际输出可能因配置和文件系统内容而异。每个命令后都会给出示例输出。 1. hdfs dfs -ls [目录路径]：查看文件和目录 示例：查看根目录 命令：hdfs dfs -ls / 输出： Found 3 items drwxr-xr-x - hadoop supergroup 0 2024-01-01 10:00 /user drwxr-xr-x - hadoop supergroup 0 2024-01-02 11:00 /data -rw-r--r-- 3 hadoop supergroup 1024 2024-01-03 12:00 /testfile.txt 解释：第一列是权限，第二列是副本数（目录没有，文件有），然后是所有者、组、大小、修改日期和路径。 2. hdfs dfs -mkdir [目录路径]：创建目录 命令：hdfs dfs -mkdir /newdir 输出：无（如果成功），失败则会报错。 3. hdfs dfs -mv [源路径] [目标路径]：移动文件 命令：hdfs dfs -mv /olddir/file.txt /newdir/file.txt 输出：无（如果成功）。 4. hdfs dfs -rm [文件路径]：删除文件 命令：hdfs dfs -rm /testfile.txt 输出： Deleted /testfile.txt 如果是目录，需要加`-r`：hdfs dfs -rm -r /olddir 5. hdfs dfs -cp [源路径] [目标路径]：复制文件 命令：hdfs dfs -cp /file1.txt /backup/file1.txt 输出：无（如果成功）。 6. hdfs dfs -cat [文件路径]：查看文件内容 命令：hdfs dfs -cat /data/example.txt 输出： Hello, HDFS! This is an example file. 7. hdfs dfs -put [本地源路径] [HDFS目标路径]：上传文件 命令：hdfs dfs -put localfile.txt /user/hadoop/ 输出：无（如果成功）。 8. hdfs dfs -get [HDFS源路径] [本地目标路径]：下载文件 命令：hdfs dfs -get /user/hadoop/hdfsfile.txt localfile.txt 输出：无（如果成功）。 注意：上述命令中，如果路径包含空格或特殊字符，需要用引号括起来。 由于无法提供实际截图，建议用户在实际环境执行这些命令观察结果。 另外，引用[1]中提到了`hdfs dfs -getmerge`命令，它可以将多个HDFS文件合并下载到本地一个文件中。例如： 命令：hdfs dfs -getmerge /abc/abc1.txt /abc/abc2.txt /home/hadoop/abc3.txt 作用：将HDFS上的abc1.txt和abc2.txt合并下载到本地的abc3.txt文件中。 如果需要更详细的帮助，可以使用`hdfs dfs -help [命令]`查看。 根据用户要求，我们生成了每个命令的示例输出。但请注意，实际输出与HDFS中的内容有关。 相关问题： 1. HDFS Shell命令和Linux Shell命令有什么主要区别？ 2. 如何查看HDFS中某个文件的大小和副本数？ 3. HDFS的上传下载过程中，如何显示进度？ </think>以下是使用Xshell执行HDFS Shell命令的典型结果图示及说明（基于Hadoop 3.x环境模拟）： --- ### 1. **查看文件和目录** `hdfs dfs -ls` ```bash $ hdfs dfs -ls /data Found 3 items drwxr-xr-x - hadoop supergroup 0 2024-06-01 10:23 /data/docs -rw-r--r-- 3 hadoop supergroup 104857 2024-06-01 09:15 /data/report.txt drwxr-xr-x - hadoop supergroup 0 2024-06-01 08:40 /data/backup ``` - ✅ 目录以 `d` 开头，文件以 `-` 开头 - ✅ 显示权限、副本数(如`3`)、所有者、大小和修改时间 [^3] --- ### 2. **创建目录** `hdfs dfs -mkdir` ```bash $ hdfs dfs -mkdir /data/new_dir （无输出表示成功） $ hdfs dfs -ls /data Found 4 items ...（包含新建的new_dir目录） ``` --- ### 3. **移动文件** `hdfs dfs -mv` ```bash $ hdfs dfs -mv /data/report.txt /data/backup/ Moved: 'hdfs://.../data/report.txt' to 'hdfs://.../data/backup/report.txt' ``` --- ### 4. **删除文件** `hdfs dfs -rm` ```bash $ hdfs dfs -rm /data/temp.log Deleted /data/temp.log $ hdfs dfs -rm -r /data/expired_dir # 删除目录需加-r Deleted /data/expired_dir ``` --- ### 5. **复制文件** `hdfs dfs -cp` ```bash $ hdfs dfs -cp /data/docs/file1.txt /backup/ Copied: 'hdfs://.../data/docs/file1.txt' to 'hdfs://.../backup/file1.txt' ``` --- ### 6. **查看文件内容** `hdfs dfs -cat` ```bash $ hdfs dfs -cat /data/config.ini [system] hadoop.version=3.3.6 block.size=128MB ... （直接输出文件全文） ``` --- ### 7. **上传文件** `hdfs dfs -put` ```bash $ hdfs dfs -put ~/local/data.csv /data/input/ （无输出表示成功） $ hdfs dfs -ls /data/input -rw-r--r-- 3 hadoop supergroup 204800 2024-06-01 11:30 /data/input/data.csv ``` --- ### 8. **下载文件** `hdfs dfs -get` ```bash $ hdfs dfs -get /data/output/result.csv ~/downloads/ （无输出表示成功） $ ls ~/downloads result.csv # 本地验证 ``` 特殊用法：合并下载（引用[1]示例） `hdfs dfs -getmerge /abc/*.txt ~/merged.txt` [^1] --- ### 📌 关键特征总结 1. **成功操作**：多数命令成功时无输出（如`mkdir/put/get`） 2. **交互反馈**：删除/移动等操作会返回`Deleted`/`Moved`提示 3. **权限标识**：`drwxr-xr-x` 表示目录权限 [^2] 4. **副本数显示**：文件第二列为副本数（如 `3`）[^3] 5. **路径规范**：HDFS路径需以`/`开头，本地路径无需前缀 > ⚠️ 注意：实际输出取决于HDFS配置和文件状态，建议通过`hdfs dfs -help [command]`查看详细帮助。 --- ### 相关问题 1. HDFS Shell命令与Linux Shell命令有哪些主要区别？ 2. 如何递归查看HDFS子目录的所有文件？ 3. `hdfs dfs -getmerge`命令在合并文件时如何处理不同编码？[^1]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值