hdfs dfs -du -h 输出三列数据的含义

最新推荐文章于 2025-06-16 10:50:48 发布
最新推荐文章于 2025-06-16 10:50:48 发布
阅读量3.6w 收藏 16
点赞数 19
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/KNIFE_PAN/article/details/44218209
本文深入解析了HDFS命令du-h如何用于监控和管理大数据集群中的文件存储情况，包括如何计算目录下文件的总大小及其集群内存储大小，以及副本数对存储的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

命令 hdfs dfs -du -h   /data/

结果 102.3 M  307.0 M  /data/

第一列标示该目录下总文件大小

第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以

第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

第三列标示你查询的目录

hdfs dfs 命令
KingWeiGG的博客
06-30 1068
[-appendToFile … ] [-cat [-ignoreCrc] …] [-checksum …] [-chgrp [-R] GROUP PATH…] [-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…] [-chown [-R] [OWNER][:[GROUP]] PATH…] -chown -R修改这个文件夹和子文件的权限 [-copyFromLocal [-f] [-p] [-l] … ] [-copyToLocal [-p] [-
HDFS全面解析涉及基础、命令、API
woaidapaopao的博客
07-23 5538
1、HDFS简介 　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理
linux系统中du命令详解
最新发布
xujiangyan_的博客
06-16 270
du命令显示的磁盘使用大小可能不完全等于文件实际占用的字节数，因为文件系统有块（block）的概念，文件会占用整数个块的空间。-h 或 --human-readable：以人类可读的格式（如KB、MB、GB）显示大小。使用du命令时，特别是递归扫描大目录时，可能会占用较多的系统资源，如CPU和内存。-s 或 --summarize：只显示总计，不列出每个子目录的大小。-d 或 --max-depth=N：显示指定深度的目录大小。-a 或 --all：包括文件在内的所有目录和文件的大小。
【hdfs命令】 查看表的存储大小
追忆不如抓住当下
06-15 6059
查看表的大小通常的方法是hdfs dfs -du -h, 但统计的是子目录的大小，如： hdfs dfs -du -h /user/hive/warehouse/tmp.db/xxx 555.7 G 1.6 T /user/hive/warehouse/tmp.db/xxx/data_date=20200610 556.2 G 1.6 T /user/hive/warehouse/tmp.db/xxxt/data_date=20200611 其实我们需要统计当前目录的大小时可加入 -s
hadoop命令大全
上好佳的博客
01-17 2万+
hdfs命令大全 hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir  创建文件夹 hdfs dfs -rmr dir  删除文件夹dir hdfs dfs -ls  查看目录文件信息 hdfs dfs -lsr  递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息   第二类
hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义
qq_46416934的博客
08-30 1975
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第二列表示该目录下所有文件在集群上的总存储大小。与你的副本数相关，我的副本数是3 ，第一列表示该目录下总文件大小。第三列表示你查询的目录。...
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
热门推荐
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
查看集群文件使用状态hdfs dfs -du -h /hbase --max-depth=1
似水流年
03-09 4600
[root@]# hdfs dfs -du -h /hbase --max-depth=1 0        0       /hbase/.tmp 755.6 M  5.2 G   /hbase/WALs 22.4 G   67.3 G  /hbase/archive 0        0       /hbase/corrupt 32.6 G   99.2 G  /hbase/dat
hdfs dfs -count和hdfs dfs -du有什么区别
01-17
对于带 `-h` 的版本，则是以人类可读的方式呈现这些数字，比如 KB、MB 或 GB 单位表示的大致规模而不是纯粹的字节数值[^4]。 示例: ```bash hdfs dfs -du -sh /user/data/ ``` 上述命令将返回 `/user/data/` ...
hdfs dfs -du -h
08-19
`hdfs dfs -du -h` 是一个Hadoop命令，用于显示HDFS中文件和目录的大小信息，并以人类可读的方式显示文件大小。它的语法如下： ``` hdfs dfs -du -h <路径> ``` 其中，`<路径>`是要显示大小信息的HDFS路径。 运行...
hdfs dfs -du 的输出
01-17
hdfs dfs -du -s -h /user/hive/warehouse/ ``` 其可能产生的输出类似于这样： ``` 97.1 G /user/hive/warehouse ``` 这里， - `97.1G` 表明整个仓库目录总共占用了大约97.1GB 的空间； - 而由于应用了 `-s` 和 `-...
hdfs dfs -du -h 的使用方法
05-25
"hdfs dfs -du -h" 是一个 Hadoop 命令，用于查看指定路径下的所有文件和目录的大小。其中，-du 表示显示目录和文件的大小，-h 表示以人类可读的方式显示文件大小。 使用方法如下： 1. 打开终端或命令行界面。 2....
Hadoop-5-HDFS常用命令
m0_43402033的博客
03-15 3139
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发老的。被失败的任务会对失败尝试不利。选项将再不可用，升级终结操作之后，它会停掉。被杀死的任务不会不利于失败尝试。，如果文件是压缩格式，则会先解压，再查看。判断文件是否为空，正0负1。判断文件是否存在，正0负1。
HDFS shell 中-du -df 用法详解
AnneQiQi的博客
04-17 1万+
HDFS shell 命令 输入hadoop fs 查看： 应该输入hadoop fs -du -h hdfs://master:9000/* 1：-df(linux下是查询磁盘空间大小)也可以查询某个目录的空间大小 查看根目录下磁盘空间大小 命令：hadoop fs -df / 为了方便查看可以加上 -h 2-du统计个目录下各个文件
hdfs常用命令
qq_43677719的博客
10-09 703
hdfs dfs -ls {目录} 查看目录下有哪些文件 hdfs dfs -put task.log {目录} 将文件上哈存到文件系统 3.hdfs dfs -rm -r {目录} 删除hdfs指定目录 hdfs dfs -count {目录} 查看文件数量 hdfs dfs -du -s {目录} 查看文件大小 注意！：此处为该目录下所有文件的大小 6.hdfs dfs -du -h {目录} 查看文件大小 注意！：此处会展示此目录下所有文件的大小 7.hdfs dfs -chmod -R 777 {.
Hadoop hdfs常用命令
白元霞的博客
09-10 7650
查看文件大小用命令：hdfs dfs -du -s -h hdfs dfs -du -s -h /user/hive/warehouse/wxwy.db/nr_mro_lzo/partitionday=20210909
hadoop fs -du -s -h 输出三列数据的含义
Linux技术宅
08-07 1万+
命令 hadoop fs -du -s -h /tmp/xby/vehicle/realinfo/wuhufindata/ 结果 212.5 G 637.4 G /tmp/xby/vehicle/realinfo/wuhufindata 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的是第一列的三倍 （第二列内容...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值