hadoop fs -du -s -h 输出三列数据的含义

已于 2024-06-03 10:03:31 修改
阅读量1.8w 收藏 12
点赞数 7
CC 4.0 BY-SA版权
分类专栏： hadoop Linux 文章标签： hadoop fs -du -s -h
于 2019-08-07 15:40:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45081413/article/details/98752566
本文介绍如何使用hadoopfs命令分析Hadoop集群上特定目录的存储情况。通过du-s-h命令，可以查看目录总文件大小、总存储大小及其与副本数的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
命令 hadoop fs -du -s -h /tmp/xby/vehicle/realinfo/wuhufindata/

结果 212.5 G 637.4 G /tmp/xby/vehicle/realinfo/wuhufindata

第一列标示该目录下总文件大小

第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

第三列标示你查询的目录

Hadoop--HDFS的Shell操作（常用命令）
weixin_44976835的博客
03-27 509
基本语法 hadoop fs 具体命令 或者 hdfs dfs 具体命令 这两种是完全相同的 命令大全 常用-help命令，查看命令帮助 hadoop fs -mkdir ：创建文件夹 在hadoop102:9870的hdfs页面查看创建成功 上传 hadoop fs -moveFromLocal：从本地移动（剪切）到HDFS hadoop fs -moveFromLocal 要上传hdfs的文件路径 要上传到hdfs的目标路径 在这个例子中：我们就将刚刚创建的shuguo.txt文件上
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
weixin_39636898的博客
11-20 645
注意:访问hdfs系统的指令hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小 hadoop fs 和 hdfs dfs之间没有太大的区别 1. 在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。 2. 在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令常用...
【Hadoop---05】HDFS常用命令 『Hadoop常用命令』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
09-26 1103
1. 基本语法 2. 查看帮助信息 3. 常用命令 3.1 与Linux命令一样的命令 3.2 上传 / 下载 命令 3.3 其他
hadoop fs -du
bitzwc的博客
10-25 7745
hadoop fs -du /test 统计test目录下各文件大小 hadoop fs -du -s /test 统计test目录下所有文件大小  
hadoop命令 - fs du/dus
Mrknowledge
04-30 7850
hadoop fs -du [URL] 显示显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。
Hadoop—hadoop fs 命令使用
sodaloveer的博客
11-03 4655
hadoop fs 基础命令汇总
hdfs dfs -du -h 输出三列数据的含义
KNIFE_PAN的专栏
03-12 3万+
命令 hdfs dfs -du -h   /data/ 结果 102.3 M  307.0 M  /data/ 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以 第二列的是第一列的三倍 （第二列内容=文件大小*副本数） 第三列标示你查询的目录
hadoop fs -du -s -h
03-16
hadoop fs -du -s -h 是一个 Hadoop 命令，用于显示 Hadoop 文件系统中指定目录或文件的大小。其中，-s 表示只显示指定目录或文件的总大小，-h 表示以人类可读的方式显示文件大小，例如使用 KB、MB、GB 等单位。
hadoop-fs指令学习.pdf
12-05
### Hadoop-FS指令学习详解 #### 一、HDFS概览 **HDFS**(Hadoop Distributed File System)是Hadoop生态系统中的一个关键组件，它主要用于处理大规模数据集的存储问题。随着数据量的增长，传统的单机文件系统已经...
Hadoop FS Shell 命令
gnn_explorer的博客
03-01 840
概述 文件系统(FS) shell包括与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统(如本地FS、HFTP FS、S3 FS等)直接交互的各种类shell命令。FS shell是通过以下方式调用的: bin/hadoop fs <args> appendToFile 用法: hadoop fs -appendToFile &
hadoop（六）hadoop fs 命令详情
热门推荐
qq_35573689的博客
05-31 4万+
在xhsell或者其他链接工具上输入hadoop fs 即可出现提示1 hadoop fs -ls <path>   列出指定目录下的内容，支持pattern匹配。输出格式如filename（full path）<r n>size.n代表备份数。2 hadoop fs -lsr <path>   递归列出该路径下所有子目录信息3 hadoop fs du此外还可...
Hadoop fs 常用命令
m0_67266787的博客
04-03 4088
操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。 Hadoop启动： start-all.sh 等价于 start-dfs.sh + start-yarn.sh 一般不推荐使用start-all.sh 常用命令： hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 hadoop fs –lsr //循环列出目录、子目录及文件信息 hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 had
hadoop fs 常用命令
qq_41758898的博客
06-15 814
查询hdfs系统的目录结构： hadoop fs -ls /test/gonganbu/scene_analysis_suggestion/* 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hado
Hadoop fs 命令详解
weixin_30924239的博客
12-22 1416
参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df 1. 环境：hadoop-2.6.0 2. 参数说明： hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [...
hadoop文件查询指令
fangfanglovezhou的博客
01-07 2572
查看文件大小： hadoop fs -du -s -h,其中-s和-h为可选参数，-h表示会选择合适的单位（KB,MB,GB,TB）显示文件大小，若不加的话不过多大显示的都是文件占多少Bytes。-s表示如果查看文件夹，不加-s则会显示各个文件的大小，加-s则只会显示文件大小的总和。 hadoop fs -test <path>: 解决关于文件路径path的各种问题，可选参数： 1. -d ：如果path为目录返回0。 2. -e : 如果path存在返回0。 3. -f ：如果path..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Linux技术宅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值