hdfs查看各级目录文件的大小

最新推荐文章于 2023-10-18 17:16:37 发布
转载 最新推荐文章于 2023-10-18 17:16:37 发布 · 4.4k 阅读 · 0

本文介绍了使用Hadoop命令行工具查看HDFS中文件及目录大小的方法，包括hadoop fs -du -h命令用于查看单个文件实际大小及备份大小，以及hadoop fs -ls -h命令用于查看文件大小，特别指出当子文件目录过多时，后者可能显示为0。

 

2017年10月24日 10:26:54 阅读数：8698 标签： hdfs  更多

个人分类： hdfs 

1.hadoop dfs -du -h  查看各级文件大小  
会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。
2.
hadoop dfs -ls -h
也可以查看文件大小  但是当子文件目录过多时 统计的大小为0
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 2034
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
统计HDFS上Hive数据库表文件大小的方法
YbDocker的博客
09-21 804
在大数据环境中，Hive是一个常用的数据仓库工具，用于处理和分析大规模的结构化数据。对于管理和监控数据存储的需求，了解每个表的文件大小是非常重要的。本文将介绍如何使用Hadoop命令和Hive查询来统计HDFS上Hive数据库表的文件大小。除了使用Hadoop命令行工具外，还可以使用Hive查询语句来获取表的文件大小。首先，我们可以使用Hadoop的命令行工具来获取表的文件列表。该命令将返回表的文件大小总和，以字节为单位。如果您只需要获取表的文件大小总和，可以使用Hadoop命令行工具的。
HDFS查看文件大小以及统计 总和
感谢你的关注~~~~ღ( ´･ᴗ･` )
05-19 1万+
查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..
shell命令查询hdfs某路径下某种类型的文件大小
shenmingyue_xy的博客
10-18 584
仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。
HDFS常用的shell命令
CHEN的博客笔记
10-28 1万+
HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹 使用方法：hdfs fs -mkdir [-p] 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例1:在分布式主目录下新建文件夹test [hadoop@master ~]$ hdfs dfs -mkdir /test [had
HDFS JAVA API
Bee_Darker的博客
05-31 754
任务目标 1.掌握HDFS JAVA API 2.了解JAVA API的执行流程
HDFS JAVA API命令代码
qq_45973433的博客
05-23 493
代码排版没有整理
Hadoop分布式文件系统（HDFS）知识梳理（超详细）
围炉夜敲的博客
10-15 3873
推荐书目电子版下载 HDFS知识梳理 应用背景 简介 基本原理 优点 缺点 设计 概念 读写流程 文件写入 文件读取 命令行接口 Java接口 连接Hadoop集群 Hadoop分布式文件系统Java接口详细版 简介 文件系统 接口
HDFS 学习
weixin_45512368的博客
07-22 1420
Hdfs学习
hdfs查看目录大小文件大小
勤能补拙
07-28 1万+
1、hadoop fs -du /test 查看test子目录大小 2、hadoop fs -count -q /test
查看hdfs目录下每个目录大小
qq_36470475的博客
03-17 2063
hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
热门推荐
Aying_seeyou的博客
11-23 3万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
【hdfs命令】 查看表的存储大小
追忆不如抓住当下
06-15 6138
查看表的大小通常的方法是hdfs dfs -du -h, 但统计的是子目录的大小，如： hdfs dfs -du -h /user/hive/warehouse/tmp.db/xxx 555.7 G 1.6 T /user/hive/warehouse/tmp.db/xxx/data_date=20200610 556.2 G 1.6 T /user/hive/warehouse/tmp.db/xxxt/data_date=20200611 其实我们需要统计当前目录的大小时可加入 -s
hdfs java 目录大小_HDFS子目录个数、目录大小限额 Quota
weixin_34521351的博客
02-13 656
概览HDFS 允许管理员对目录下的子目录和文件个数(Name Quotas)，以及目录下数据存储大小(Space Quotas)进行配额限制。名称配额和空间配额是独立运作的，但这两种配额的管理和实施是密切并行的。名称配额(Name Quotas)名称配额是对目录树中的文件和目录名的数量的硬限制。如果超出配额，则文件和目录创建失败。新创建的目录没有关联的配额，最大的配额是Long.Max_Value...
查看hdfs上某个表目录下文件的大小
硅谷工具人
06-21 1256
hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...
【HDFS】-指定路径下各目录大小排序
此心安处是吾乡
03-01 3512
code 查看hive各个库的大小，并且排序 hadoop fs -du -s -h hdfs:///user/hive/warehouse/* |sed 's/ //'| sort -rn ref [1]https://stackoverflow.com/questions/38086684/hadoop-fs-du-h-sorting-by-size-for-m-g-t-p-e-z-y/57365167                         2021-03-01 于南京市江宁区九龙湖 .
hdfs java 目录大小_查看hdfs各目录分别占用多少空间
weixin_35861708的博客
02-13 730
[hadoop@slave3 java]$ hadoop fs -helpUsage: hadoop fs [generic options][-appendToFile ... ][-cat [-ignoreCrc] ...][-checksum ...][-chgrp [-R] GROUP PATH...][-chmod [-R] PATH...][-chown [-R] [OWNER][:...
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
SUNK2014的博客
05-21 4372
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。
查看hdfs目录文件大小
10-11
可以使用hadoop fs -du命令来查看HDFS目录下文件的大小，命令格式为：hadoop fs -du [-s] [-h] [-x] URI [URI …] 其中，-s选项表示只显示总大小，-h选项表示以易读的方式显示大小，-x选项表示不统计同一个文件的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值