看hdfs指定文件夹大小

最新推荐文章于 2024-08-12 03:09:45 发布
最新推荐文章于 2024-08-12 03:09:45 发布
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： hive 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/macfei/article/details/121540718
本文介绍了如何使用HDFS命令行工具`hdfs dfs -du -s -h`来查看文件夹的大小，并通过`du -sh ../log/* | sort -nr`进行排序，便于管理和分析HDFS上的文件大小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

看hdfs指定文件夹大小

hdfs dfs -du -s -h path

第一列是实际文件夹大小,第二列是备份大小
在这里插入图片描述
查看文件大小并排序

du -sh ../log/* |sort -nr

在这里插入图片描述
在这里插入图片描述

之首木乔
关注
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 1979
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
HDFS常用文件操作命令汇总
congge
12-26 1万+
常用的hdfs文件操作命令总结
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
十八闲客的博客,专注于大数据运维
07-21 1388
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
查看hdfs 文件夹大小
很吵请安静
09-10 4396
hadoop fs -du -s -h +文件夹名
查看hdfs文件夹大小
热门推荐
fanlying的博客
06-19 3万+
例如查看ods库大小：hadoop fs -du -s -h /user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小
weixin_53543905的博客
09-05 398
【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小
HDFS常用命令
小马哥的博客
10-21 4658
hdfs
JAVA HDFS 文件上传、下载、删除、更名、移动/剪切、获取文件列表、复制文件/文件夹、查找、创建文件夹、获取文件夹大小
VincentlVL的博客
08-11 1227
// 1文件上传 /** * 文件上传 * * @param IDc 用户ID * @param localPath 本地文件完整路径 * @param cloudPath hdfs文件保存完整路径 * @return 返回json格式字符串，包含operation和log两个属性 * @throws IOExce...
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
SUNK2014的博客
05-21 4228
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。
shell命令查询hdfs某路径下某种类型的文件大小
shenmingyue_xy的博客
10-18 539
仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。
查看hdfs上某个表目录下文件的大小
硅谷工具人
06-21 1211
hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...
通过获取HDFS目录/文件夹大小来控制reduce个数
superye1983的专栏
11-28 4269
一般map的个数系统会根据文件block数量来获取 而reduce个数一般默认1个，在每个JOB用户根据自己的需要自己调整 但是往往同一个JOB在不同目录下获取的数据大小相差很多，所以要根据每次获取数据的大小来确定reduce public static long getDirSize(Path dir, Configuration conf) throws IOException{
查看hdfs目录下每个目录大小
qq_36470475的博客
03-17 2021
hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...
HDFS目录数及大小设置
u012667450的博客
04-28 3859
HDFS目录数及大小设置 前言 由于时间紧急，本人稍微调研了下，HDFS配置中是有目录文件夹数量限额的，但没有存储空间资源限额。 需求 1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。 2.需要在集群管理上开发项目使用的存储资源限额。比如：一个目录不能超过100G。 调研 针对这两个小需求，去官网找了下hdfs-site.xml的所有属性配置。得到的结论是： 可以设置HDFS目录下文件数量，但不能设置文件的存储大小。 <!--这个属性是设置HD
查看hadoop 目录文件大小
最新发布
weixin_30070339的博客
08-12 445
查看 Hadoop 目录文件大小 Hadoop 是一个开源的分布式计算平台，广泛应用于大数据处理。作为一个数据处理框架，Hadoop 使用 Hadoop Distributed File System（HDFS）来存储数据。在大数据环境中，了解和管理文件大小是非常重要的，因为这会影响到数据的处理性能、存储效率和资源利用率。...
hdfs使用命令行查看总容量和使用量
qq_26432153的博客
05-05 676
hdfs使用命令行查看总容量和使用量
掌握HDFS基础操作：上传、下载及文件夹管理
- **文件块（Block）**：HDFS将大文件分割成固定大小的块（默认为128MB或256MB），这些块独立存储在DataNode上。 - **文件系统命名空间**：由NameNode管理，支持传统的目录和文件概念。 ### HDFS的安装 在进行HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值