hdfs du 统计以G为单位

HDFS查看目录大小并保留小数
原创 已于 2025-01-17 17:01:51 修改 · 199 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

于 2025-01-17 16:11:34 首次发布

hdfs dfs -du -s /user/hive/warehouse/ods_safety_analysis.db/ods_vpn_log | awk ‘{print $2/1024/1024/1024"G"}’
保留小数点后1位
hdfs dfs -du -s /user/hive/warehouse/ods_safety_analysis.db/ods_vpn_log | awk ‘{printf (“%.1f\n”, $2/1024/1024/1024)}’

sunxunyong
关注
统计HDFS上Hive数据库表文件大小
zhengzaifeidelushang的博客
08-27 2734
统计HDFS上Hive数据库表文件大小
统计HDFS上Hive数据库表文件大小及数据历史范围
zhengzaifeidelushang的博客
09-07 1050
一、获取Hive表名、HDFS路径、时间字段、分区信息、分区时间 from pyspark.sql.types import StructType, StructField, LongType, StringType,DoubleType from pyspark.sql import SparkSession spark = SparkSession.builder.appName("DataFrame").getOrCreate() table_dict ={} #hive表名存放到列表中 ta
du统计磁盘空间使用情况
qq_40880022的博客
08-12 719
一、说明： du 命令可以用来统计磁盘空间的使用情况，有助于我们查找哪个文件占用磁盘空间的大小。 二、参数+案例 1、-a 显示所有文件的大小。 [root@cenos79 test]# du -a /root/test/ ## 显示 /root/test 这个目录下面所有文件的大小 4 /root/test/.test 0 /root/test/xargs test.txt 4 /root/test/servicesmd5.txt 4 /root/test/xar...
hdfs 文件系统中所有文件根据磁盘占用大小排序
天狗的日常
07-19 2776
hdfs 文件占用大小排序
Hadoop 学习总结之一：HDFS简介
diebiaosang4496的博客
03-14 527
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和...
hadoop查看hdfs目录大小，以MB为单位
芒果summer小仙女
01-11 3292
hadoop查看hdfs目录大小，以MB为单位 /bin/hadoop fs -du `hdfs目录名` | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n
hdfs命令使用小抄
lancer的博客
09-05 470
hdfs常用命令及注意事项 持续更新
hdfs dfs -du 的输出
01-17
- 而由于应用了 `-s` 和 `-h` 参数选项，因此省略掉了详细的子项统计以及采用了易于阅读的形式来表达容量单位。 如果不加任何额外参数直接运行 `hdfs dfs -du` ，则会对给定路径中的每一个条目分别报告它们各自的...
干货 | HDFS常用的40个命令，你都知道吗？
大数据梦想家
01-19 3640
前言         众所周知，Hadoop 提供了命令行接口，对HDFS中的文件进行管理操作，如读取文件、新建目录、移动文件、复制文件、删除目录、上传文件、下载文件、列出目录等。本期文章，菌哥在拜读了冰河大佬的《海量数据处理与大数据技术实战》之后，为大家详细介绍 Hadoop 的命令行接口！希望大家看完之后，能够有所收获 |ू･ω･` )        &
hdfs 的 FsImage大小如何统计
最新发布
07-15
首先，用户的问题是：“我想统计HDFS中FsImage的大小 请问如何查看HDFS的FsImage文件大小”。我需要根据系统级指令和用户可见层的要求来回答。 系统级指令： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...
hdfs常用操作
BXiron的博客
11-21 1712
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir pa
HDFS查看文件大小以及统计 总和
感谢你的关注~~~~ღ( ´･ᴗ･` )
05-19 1万+
查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..
hadoop 目录文件按GB显示
china_demon的专栏
02-23 2089
hadoop fs -du /user/hive/warehouse/iq_stock_tick | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n
hadoop中显示每个目录大小(按照GN.MB.KB格式显示)
博客标题
03-09 1982
hadoop中显示每个目录大小(按照GN.MB.KB格式显示): /hadoop/hadoop/bin/hadoop fs -du /TransferData/ | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024] ="Kb"; for (x=1024**3; x>=1024; x/=102
统计HDFS目录下文件行数及文件大小
王义凯 的博客
10-31 9662
统计行数，统计文件大小，统计文件夹下所有文件/文件夹的大小:
Hadoop hdfs dfs命令 最常见经常使用的命令 入门推荐
热门推荐
是个好男人的博客
11-23 1万+
1.常用命令 下列的hdfs命令，都是在实际工作中经常会用到的，如果要看全部的命令可以直接使用hdfs dfs，会显示所有的命令。使用hdfs dfs -help能够查看每个命令的使用方法 （1）help hdfs命令帮助 hdfs dfs -help （2）ls 查看hdfs目录下内容 命令格式： hdfs dfs -ls [文件目录] hdfs dfs -ls / 结果： drwxr-xr-x - hdfs hdfs 0 2020-11-04 11:36 /HiBenc...
hive库表占用空间大小的命令
weixin_42115825的博客
03-14 2117
3、查某一个分区占用空间大小（单位G)4、查某一个表总占用空间大小（单位G）1、查每个hive表占用的空间大小。5、统计hdfs某个表文件的数据量。2、按占用空间大小降序排列。
HDFS教程（02）- HDFS命令汇总
阿甘兄
02-23 2111
文章目录01 引言02 HDFS安装03 HDFS命令汇总3.1 新增操作3.1.1 创建文件夹（mkdir命令）3.1.2 文件上传（put命令）3.1.3 文件复制（cp命令）3.1.4 移动文件（mv命令）3.1.5 创建空文件（touchz命令）3.2 删除操作3.2.1 删除文件夹（rmdir命令）3.2.2 删除文件（rm命令）3.2.3 清空回收站（expunge命令）3.3 查看操作3.3.1 获取文件（get 命令）3.3.2 查看文件（ls、du、df、cat、tail 命令）3.3.3
Linux中常用的命令【du（统计文件大小）】【wc（统计函数）】【管道符】【软连接/硬链接】【第一篇】
二十四桥明月夜
04-03 1082
Vi命令/VIM（只是和Vi在显示的有一些显示不一样） 插入模式 i insert 命令行行模式（esc+":"进入命令模式） "dd" ; 删除光标所在的行（其实时剪切） "p" ; 粘贴 "3dd" ;删除光标所在的三行（其实时剪切） "yy" ; 复制光标所在的行 "4yy" ; 复制光标所在的连续四行 "G" ；光标快速定位到最后一行 "gg" ;光标快速定位到第一行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值