统计HDFS目录下文件行数及文件大小

最新推荐文章于 2024-07-21 21:36:24 发布
原创 最新推荐文章于 2024-07-21 21:36:24 发布 · 9.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
文章标签：

#HDFS #hadoop

本文介绍如何使用HDFS命令行工具统计文件数量、大小及目录信息。通过具体命令示例，展示如何查看指定目录下的文件行数、总大小，并以易于理解的单位显示。

统计行数

hdfs dfs -cat /user/hive/warehouse/default/test_20190711_hdfs_to_mysql/* |wc -l

统计文件大小和数量

hdfs dfs -count /user/hive/warehouse/default/test_20190711_hdfs_to_mysql/*

返回值的第一列是文件夹的数量，第二列是文件数量，第三列是文件的大小，单位是byte。

 

统计文件夹下所有文件/文件夹的大小:

hdfs dfs -du -h /pathA/ 统计pathA下所有子文件夹/文件的大小

hdfs dfs -du -s -h /pathA/ 统计pathA文件夹的大小

-s:统计父目录

-h:以M/G为单位格式化

 

查看hdfs上文件内容，统计数据量
zhengzaifeidelushang的博客
05-24 2652
查看hdfs上文件内容，统计数据量一、查看hdfs上文件内容二、统计数据量 一、查看hdfs上文件内容 hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c 二、统计数据量 hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c
Java，Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小
慢慢来
07-03 6099
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法：使用getBytes()第二种解决办法：使用listStatus()简单的情况比较麻烦的情况第三种解决办法：使用getContentSummary()额外说点hadoop fs -dus             &nb
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 3万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
十八闲客的博客,专注于大数据运维
07-21 1591
使用：hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中；
hdfs统计行数和统计文件大小
热门推荐
司念
12-10 5万+
hdfs统计文件行数和文件大小命令
hdfs统计某个目录下的文件数
春华秋实
09-16 4万+
hadoop fs -count 统计hdfs对应路径下的目录个数，文件个数，文件总计大小 显示为目录个数，文件个数，文件总计大小，输入路径 例如： hadoop fs -count /data/dltb3yi/  1        24000       253953854502 /data/dltb3yi/      获得24000个文件
linux统计总大小,hdfs、linux统计行数和统计文件大小
weixin_32667011的博客
05-09 831
hdfs统计文件行数使用hdfs有时候需要统计文件行数和文件的大小1.hdfs下载文件夹中多个文件hadoop fs -get /目录 目录2.统计多个文件行数hadoop fs -cat /文件* | wc -l3.统计文件大小hadoop fs -count /文件*统计单个文件 只需要精确到文件即可linux统计文件行数语法：wc [选项] 文件…说明：该命令统计给定文件中的字节数...
hdfs小文件合并
岁月静好，做自己。
10-13 4804
hdfs小文件合并
高效Java代码快速统计大文件行数
在处理大规模文件（如上G级别的文本文件）时，如何高效、快速且低内存消耗地统计文件行数是Java开发中一个极具挑战性的任务。传统的文件读取方式，例如使用`BufferedReader.readLine()`逐行读取，在面对海量数据时...
HDFS是否可以直接提供文件的行数信息？
最新发布
08-19
### 使用Spark统计HDFS文件行数的示例代码 ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Line Count") \ .getOrCreate() file_path = "hdfs://path/to/your/file....
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
【文件信息】：Shell脚本统计行数的同时轻松获取文件大小
首先概述了Shell脚本在这一领域中的基础概念及其应用场景，随后深入分析了不同类型文件的行数统计方法以及不同文件系统下文件大小的获取差异。文中还提出了统计行数和获取文件大小的高级功能，包括与其他工具结合和...
查看hdfs上某个表目录下文件的大小
硅谷工具人
06-21 1260
hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...
命令查询hdfs目录下文件总和
海鸥~
06-18 7447
一、可以计算出ccc文件下有多少个文件夹 hadoop fs -ls /aaa/bbb/ccc/* |grep "^d"|wc -l 二、可以统计出HDFS文件数量大小 hadoop fs -count / 三、可以统计出HDFS文件大小 hadoop fs -du -h / 1.7G 是一台服务器所占用磁盘 5.2G 是因为用三台服务器做的落盘 所以1.7*3 /aaa/bbb/ccc 是hdfs地址 ...
HDFS查看文件大小以及统计 总和
感谢你的关注~~~~ღ( ´･ᴗ･` )
05-19 1万+
查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..
Java操作HDFS
Intelligebce的博客
09-06 708
一、读取hdfs文件数据 方法一：使用hadoop URL读取数据 URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); InputStream in = null; try { in = new URL("hdfs://172.16.169.10:9000/Wo...
Hadoop-5-HDFS常用命令
m0_43402033的博客
03-15 3237
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发老的。被失败的任务会对失败尝试不利。选项将再不可用，升级终结操作之后，它会停掉。被杀死的任务不会不利于失败尝试。，如果文件是压缩格式，则会先解压，再查看。判断文件是否为空，正0负1。判断文件是否存在，正0负1。
【hdfs命令】 查看表的存储大小
追忆不如抓住当下
06-15 6158
查看表的大小通常的方法是hdfs dfs -du -h, 但统计的是子目录的大小，如： hdfs dfs -du -h /user/hive/warehouse/tmp.db/xxx 555.7 G 1.6 T /user/hive/warehouse/tmp.db/xxx/data_date=20200610 556.2 G 1.6 T /user/hive/warehouse/tmp.db/xxxt/data_date=20200611 其实我们需要统计当前目录的大小时可加入 -s
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值