hdfs查看各级目录文件的大小

王树民 王树民 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 4.5k累计阅读 4.5k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-05-28 03:32:12 发布 4.5k 阅读 AI 写同款· GEO 优化 ›
Java，Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小 文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法：使用getBytes()第二种解决办法：使用listStatus()简单的情况比较麻烦的情况第三种解决办法：使用getContentSummary()额外说点hadoop fs -dus             &nb 阅读详情

 

2017年10月24日 10:26:54 阅读数：8698 标签： hdfs  更多

个人分类： hdfs 

1.hadoop dfs -du -h  查看各级文件大小  
会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。
2.
hadoop dfs -ls -h
也可以查看文件大小  但是当子文件目录过多时 统计的大小为0
收录于
Druid

当前文章被收录于：

Druid
80 篇文章 1 人学习
订阅专栏 查看详情
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件 阅读详情

相关推荐

统计HDFS上Hive数据库表文件大小的方法

在大数据环境中，Hive是一个常用的数据仓库工具，用于处理和分析大规模的结构化数据。对于管理和监控数据存储的需求，了解每个表的文件大小是非常重要的。本文将介绍如何使用Hadoop命令和Hive查询来统计HDFS上Hive数据库表的文件大小。除了使用Hadoop命令行工具外，还可以使用Hive查询语句来获取表的文件大小。首先，我们可以使用Hadoop的命令行工具来获取表的文件列表。该命令将返回表的文件大小总和，以字节为单位。如果您只需要获取表的文件大小总和，可以使用Hadoop命令行工具的。

YbDocker的博客 891

Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小

兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。

SUNK2014的博客 4492

Matlab使用GitHub的踩坑记录（持续更新）

Matlab使用git的踩坑记录前言Matlab设置Git的官方帮助文档系统配置新建Git两种代码管理方式典型源代码管理SVN分布式源代码管理 Git注意：SVN和Git都可以用GitHub创建新的库 前言 作为Git初学者，对Git的代码版本管理非常非常喜欢，给了我极大的安全感。特别是想到之前的几次Matlab、Latex和python的代码莫名其妙被折腾没了又没法找回的悲剧，决定慢慢的走入gi...

voluntry的博客 7298

hdfs查看目录文件的大小 hdfs dfs -du -s -h /

1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的

Aying_seeyou的博客 3万+

基于深度残差U-Net与多尺度注意力机制的医学图像分割系统

本文提出了一种创新的医学图像分割系统，通过融合残差连接、通道注意力机制和空间金字塔池化技术，构建了高性能的UResnet分割网络。系统采用编码器-解码器架构，创新性地引入多层次特征增强模块，显著提升了医学图像中复杂组织结构的分割精度。实验结果表明，该方案在多个医学图像数据集上均取得了优异性能，边界分割精度提升15%，训练收敛速度提升30%，同时减少20%计算量。系统为临床诊断提供了可靠的技术支持，未来可扩展至3D医学图像分割和联邦学习等方向。

Henry的博客 814

QGIS编译（跨平台编译）001：Flex、Bison编译（安装）（Windows、Linux、MacOS环境下安装）

QGIS编译；Flex、Bison编译（安装）（Windows、Linux、MacOS环境下安装）

LuckyHanMo的博客 3082

HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）

主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。

weixin_61472217的博客 4万+

【HYSPLIT 教程第二期】Inline WRF-HYSPLIT 耦合

【HYSPLIT 教程第二期】Inline WRF-HYSPLIT 耦合

WW、forever的博客 811

VMware ubuntu下的HDFS文件操作（在终端用命令实现的）

文章目录(1)向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；(2)从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；(3)将HDFS中指定文件的内容输出到终端中；(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；(5)给定HDFS中某一个目录，输出该目录下的所有文件的读写权...

mango 7808

C语言设计模式全面解析：从理论到28个实战示例

本文系统介绍了23种经典设计模式在C语言中的实现方法。通过结构体、函数指针等技巧，C语言可以优雅地模拟面向对象特性，实现代码复用与解耦。文章分类详解了创建型、结构型、行为型三大类模式，并提供了28个完整代码示例，包括单例、策略、观察者等核心模式的精简实现。这些模式在嵌入式系统、操作系统内核等场景中广泛应用，如状态机、事件驱动等。学习C语言设计模式的关键在于理解模式意图，掌握函数指针和结构体组合等技巧，并在实际项目中灵活运用。本文为C语言开发者提供了全面的设计模式参考指南。

数字人生 364

把 MCP Server 直接装进 SAP ABAP：用 Unlimited Display Tools 打通 Agentic SDK 与 SAP ECC / S/4HANA 的最后一公里

摘要：AI与SAP集成的MCP解决方案 企业在AI集成中面临工具链复杂、数据对接繁琐的挑战。Model Context Protocol (MCP)通过标准化工具与数据暴露方式，将集成复杂度从N×M降至N+M。在SAP生态中，MCP Server for SAP直接部署于ABAP层，利用DDIC/CDS视图对接各类Agent SDK，避免中间件风险。 MCP核心包含三类对象： Tools：带元数据的可执行动作 Resources：结构化上下文数据 Prompts：可参数化提示模板 ABAP层实现MCP Se

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 688

HDFS的目录文件的大小的数量的控制

首先：Hadoop从2.4.0版本开始支持hdfs的ACL 官网参考hadoop2.6.5 一、设置目录下的文件数量上限 [root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01 [root@node4 ~]# hdfs dfs -mkdir /ldata01/test2 mkdir: The NameSpace quota (directories a...

shursulei的博客 4483

【网络教程】Ubuntu有线连接消失，无法联网怎么办！（亲测有效！）

文章目录问题描述解决方案 问题描述 今天打开Ubuntu，突然发现无法连接网络，并且打开设置，发现设置里面的网络已经没有了有线连接，只有VPN设置选项，如图 解决方案 按照下列的代码执行即可！ # 关闭网路 service NetworkManager stop # 删除NetworkManager缓存文件 sudo rm /var/lib/NetworkManager/NetworkManager.state # 打开网络 service NetworkManager start 运行完

XiaoqiangClub的博客 1万+

HDFS查看文件行数及大小

利用wc指令我们可以计算文件的Byte数、字数或是列数，若不指定文件名称，或是所给予的文件名为“-”，则wc指令会从标准输入设备读取数据。第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）-c或–bytes或——chars：只显示Bytes数；第一种方式:查看当前目录下的各级目录分别大小。hdfs dfs -du -s -h /目录。-l或——lines：只显示列数；-w或——words：只显示字数。

m0_57320261的博客 9071

医学图像的对抗攻击：模型安全性与鲁棒性分析

医学图像的对抗攻击：模型安全性与鲁棒性分析 ，人工智能，计算机视觉，大模型，AI，本文围绕医学图像的对抗攻击展开，分析了其对AI模型的威胁。介绍了对抗样本定义、攻击原理，以及FGSM、BIM、PGD等常见攻击方法，还给出了相关代码示例。阐述了攻击对模型诊断准确性和可信度的影响，提出对抗训练、输入预处理、模型集成等提升模型安全性与鲁棒性的方法，探讨了评估指标、数据集和流程，分析了实际应用中的挑战与应对策略，最后展望了未来发展趋势。

不踩坑，不知道坑有多深；不总结，踩过的坑白踩。 18万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

hadoop查看文件大小(hdfs hive hbase)

      可以查看 hdfs  hive  hbase文件存储大小 hadoop fs -count  或者 hdfs dfs -count /51JOB   [root@chinadaas01 ~]# hadoop fs -count  /hbase1/zzjg_detail 文件夹数 文件数  这个目录下的文件bytes       查看文件夹下 各个目录的总大...

后知后觉的it路 7267

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

hdfs java 目录大小_遍历HDFS目录，并输出文件大小

package com.whh.bigdata.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FileUtil;import org.a...

weixin_33595380的博客 676

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

HDFS目录数及大小设置

HDFS目录数及大小设置 前言 由于时间紧急，本人稍微调研了下，HDFS配置中是有目录文件夹数量限额的，但没有存储空间资源限额。 需求 1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。 2.需要在集群管理上开发项目使用的存储资源限额。比如：一个目录不能超过100G。 调研 针对这两个小需求，去官网找了下hdfs-site.xml的所有属性配置。得到的结论是： 可以设置HDFS目录下文件数量，但不能设置文件的存储大小。 <!--这个属性是设置HD

u012667450的博客 4133

查看hadoop 目录文件大小

查看 Hadoop 目录文件大小 Hadoop 是一个开源的分布式计算平台，广泛应用于大数据处理。作为一个数据处理框架，Hadoop 使用 Hadoop Distributed File System（HDFS）来存储数据。在大数据环境中，了解和管理文件大小是非常重要的，因为这会影响到数据的处理性能、存储效率和资源利用率。...

weixin_30070339的博客 613

[1129]HDFS查看文件的两种方式

文章目录1.localhost：50070 图形化界面 离线查看2.通过命令行终端实现在线查看文件内容 1.localhost：50070 图形化界面 离线查看 可以查看hdfs文件目录的结构，副本数，block大小，文件的大小，但是不能查看文件的内容，要是查看文件的内容的话，得把文件给下载下来 2.通过命令行终端实现在线查看文件内容 [root@cdp101 bin]# hdfs dfs -ls Found 5 items drwx------ - hive hive 0 202

周小董 1万+

hadoop上传文件到hdfs_十四、HDFS常见操作命令

创建文件目录[hadoop@node01 ~]$ hdfs dfs -mkdir -p /user/hadoop[hadoop@node01 ~]$ hdfs dfs -mkdir -p /user/sqoop通过命令查看文件目录[hadoop@node01 ~]$ hdfs dfs -ls -R /drwxr-xr-x - hadoop supergroup 0 2020-...

weixin_42513152的博客 8795

HDFS查看文件大小以及统计 总和

查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..

感谢你的关注~~~~ღ( ´･ᴗ･` ) 1万+

HDFS高级命令-目录下文件大小个数限额

准备 创建一个文件夹 hadoop fs -mkdir /user/root/lisi 给文件夹下文件数量限额 限制lisi文件夹下只能存放两个文件 hdfs dfsadmin -setQuota 2 lisi 试一下: 再试一下 这是为什么呢? 这是因为我们设置了lisi文件夹下最大的文件数量是2个,lisi文件夹本身也要占一个数量,所以会出现了只能上传一个的错误 ...

王傲旗的大数据之路 8067

HDFS 基本 shell 操作

HDFS 基本 shell 操作

皮埃尔的博客 7765

hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法

hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html以下是我的使用hadoop fs -du统计文件时使用的记录：[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui// :: INF...

weixin_36213943的博客 1525
上一篇： Druid and Imply
下一篇： Hive2.0函数大全(中文版)
点赞 0
评论 0
书签 书签 0
王树民
王树民
博客等级 码龄10年 912粉丝 560原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值