看hdfs指定文件夹大小

最新推荐文章于 2024-08-12 03:09:45 发布

原创最新推荐文章于 2024-08-12 03:09:45 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #linux

本文介绍了如何使用HDFS命令行工具`hdfs dfs -du -s -h`来查看文件夹的大小，并通过`du -sh ../log/* | sort -nr`进行排序，便于管理和分析HDFS上的文件大小。

看hdfs指定文件夹大小

hdfs dfs -du -s -h path

第一列是实际文件夹大小,第二列是备份大小
在这里插入图片描述
查看文件大小并排序

du -sh ../log/* |sort -nr

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

之首木乔

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件

zhengzaifeidelushang的博客

11-23

2038

统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件

统计Hadoop分布式文件系统（HDFS）上Hive数据库表文件大小的方法

2301_79366435的博客

08-15

244

在大数据环境中，Hadoop分布式文件系统（HDFS）被广泛应用，而Hive作为Hadoop生态系统中的数据仓库工具，提供了高效的数据存储和查询功能。在使用Hive进行数据分析和处理时，了解Hive数据库表的文件大小是非常有用的信息。通过连接到Hive元数据和HDFS，获取表的文件路径，并使用Hadoop的。连接到Hive元数据后，我们需要获取Hive数据库表对应的HDFS文件路径。获取到HDFS上Hive数据库表的文件路径后，我们可以使用Hadoop的。是要统计文件大小的Hive数据库和表的名称。

参与评论您还未登录，请先登录后发表或查看评论

HDFS文件的查看

05-21

hdfs文件的查看 hdfs fs -cat /文件名

查看hdfs 文件夹大小

很吵请安静

09-10

4534

hadoop fs -du -s -h +文件夹名

查看hdfs文件夹大小

最新发布

11-15

统计HDFS上文件夹大小信息可以使用命令行工具或者编写代码实现。 ### 使用命令行工具使用 `hadoop fs -du` 命令可以查看HDFS上文件夹的大小信息。以下是一些示例： 1. 查看指定文件夹下每个子文件夹和文件的大小：...

【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小

weixin_53543905的博客

09-05

460

【Java-HDFS】使用Java操作HDFS获取HDFS指定目录下的数据量大小

HDFS常用命令

小马哥的博客

10-21

4691

hdfs

修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置

qq_65231448的博客

06-30

1121

修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置

统计HDFS中文件数量、大小、以及在某范围大小的文件数量

十八闲客的博客,专注于大数据运维

07-21

1570

使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；

hdfs查看目录文件的大小 hdfs dfs -du -s -h /

Aying_seeyou的博客

11-23

3万+

1.hdfs dfs -du -h 查看各级文件大小会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小但是当子文件目录过多时统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的

Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小

SUNK2014的博客

05-21

4377

兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。

shell命令查询hdfs某路径下某种类型的文件大小

shenmingyue_xy的博客

10-18

586

仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。

HDFS查看文件大小以及统计总和

感谢你的关注~~~~ღ( ´･ᴗ･` )

05-19

1万+

查看文件夹下各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..

查看hdfs上某个表目录下文件的大小

硅谷工具人

06-21

1257

hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...

通过获取HDFS目录/文件夹大小来控制reduce个数

superye1983的专栏

11-28

4299

一般map的个数系统会根据文件block数量来获取而reduce个数一般默认1个，在每个JOB用户根据自己的需要自己调整但是往往同一个JOB在不同目录下获取的数据大小相差很多，所以要根据每次获取数据的大小来确定reduce public static long getDirSize(Path dir, Configuration conf) throws IOException{

查看hadoop 目录文件大小

weixin_30070339的博客

08-12

497

查看 Hadoop 目录文件大小 Hadoop 是一个开源的分布式计算平台，广泛应用于大数据处理。作为一个数据处理框架，Hadoop 使用 Hadoop Distributed File System（HDFS）来存储数据。在大数据环境中，了解和管理文件大小是非常重要的，因为这会影响到数据的处理性能、存储效率和资源利用率。...

qq_36470475的博客

03-17

2065

hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...