查看hadoop目录下文件大小

最新推荐文章于 2022-04-09 23:56:21 发布
原创 最新推荐文章于 2022-04-09 23:56:21 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据库

本文详细记录了使用Hadoop文件系统对特定目录下数据进行du命令的使用情况，包括目录大小、文件数量及文件大小统计，并对数据进行了时间维度上的分布分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


17:12 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -s /source/ent/laifeng/generalbusiness
79298026603  /source/ent/laifeng/generalbusiness
tty:[14] jobs:[0] cwd:[~]
17:12 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -h /source/ent/laifeng/generalbusiness
23.9 M   /source/ent/laifeng/generalbusiness/20140917
22.2 M   /source/ent/laifeng/generalbusiness/20140918
19.4 M   /source/ent/laifeng/generalbusiness/20140919
17.5 M   /source/ent/laifeng/generalbusiness/20140920
17.6 M   /source/ent/laifeng/generalbusiness/20140921
17:17 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -s -h /source/ent/laifeng/generalbusiness
73.9 G  /source/ent/laifeng/generalbusiness



hadoop fs -du -h /warehouse/hive/warehouse/

38.1 T /warehouse/hive/warehouse/ent.db
Hadoop 大量小文件问题及解决方案
SmartSi
12-25 2万+
1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这样
hdfs中的tmp文件夹_0521-Hadoop命令无法访问HDFS路径诡异问题解决
weixin_36202642的博客
01-31 1063
1.诡异现象Fayson今天在集群中浏览HDFS数据目录时发现，通过Cloudera Manager的“文件浏览”功能可以正常的浏览某一个HDFS数据目录，如下显示：但Fayson在脚本或命令行操作该数据目录时又提示“/tmp/guiyi/123: No such file or directory”，异常如下：2.问题分析在Cloudera Manager上可以正常的浏览该数据目录，但在命令行无...
hadoop查看文件大小
weixin_30470857的博客
04-07 2026
hadoop fs -du /yj/input/ 列出input下所有文件的大小，以B为单位 #!/bin/sh #echo "hadoop fs -du /" hadoop fs -du /|awk '{ print $1/1000000; }' 以分别以B,KB,M,G显示 #!/bin/sh #echo "hadoop fs -du /" hadoop fs -du /|...
Hadoop查看文件个数&文件大小&文件夹大小
practice
04-09 8694
一、表中文件个数： hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l 二、 显示前5行（如果文件个数是200个会刷屏） hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p 三、查看总文件夹大小 hdfs dfs -du -h -s /user/warehouse/ods.db/test_01 ...
hadoop 修改hadoop tmp目录
weixin_33775582的博客
06-03 1072
mkdir hadoop_tmp_data   修改core-site.xml中的tmp目录为/home/hadoop/data0/hadoop_tmp_data /home/hadoop/data0/hadoop_tmp_data ./hadoop-daemon.sh stop datanode ./hadoop-daemon.sh stop tasktracker ./hadoop...
Hadoop3.1.3 配置文件
01-15
除了这些核心配置文件，还有一些特定场景下的配置，例如`slaves`文件列出集群中的所有工作节点，以及`masters`文件列出NameNode和ResourceManager的角色节点。此外，还可以通过`hadoop-env.sh`和`yarn-env.sh`来设置...
【大数据】hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名)
debimeng
03-28 6041
hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名) 场景： 因平时经常需要知道hadoop文件系统里最大的文件有哪几个，故特此查找了一下命令。 解决： hadoop版本：2.9.2(版本需要特别注意，因为低版本的有可能还没有那么多功能) 查看-ls的使用方法：hadoop fs -ls --helpUsage: hadoop fs [generic ...
hadoop config 配置文件
最新发布
11-09
Hadoop的配置主要通过XML文件进行，这些文件位于`$HADOOP_CONF_DIR`目录下，通常包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml` 和 `mapred-site.xml`。这些文件分别对应Hadoop的核心、HDFS（Hadoop分布式...
hadoop的默认配置文件
08-12
1. **hdfs-default.xml**：这是Hadoop分布式文件系统的默认配置文件。它包含了HDFS的各种配置参数，如命名节点（NameNode）和数据节点（DataNode）的设置、副本数量、块大小、安全模式、文件权限等。例如，`dfs....
hadoop查看文件大小(hdfs hive hbase)
后知后觉的it路
10-28 7127
      可以查看 hdfs  hive  hbase文件存储大小 hadoop fs -count  或者 hdfs dfs -count /51JOB   [root@chinadaas01 ~]# hadoop fs -count  /hbase1/zzjg_detail 文件夹数 文件数  这个目录下的文件bytes       查看文件夹下 各个目录的总大...
hdfs中的tmp文件夹_0521Hadoop命令无法访问HDFS路径诡异问题解决
weixin_31766003的博客
01-31 671
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1诡异现象Fayson今天在集群中浏览HDFS数据目录时发现，通过Cloudera Manager的“文件浏览”功能可以正常的浏览某一个HDFS数据目录，如下显示：但...
配置hadoop.tmp.dir 目录
热门推荐
bluetropic的专栏
07-26 3万+
感谢原有发帖人，内容来源：http://f.dataguru.cn/thread-23704-1-1.html HADOOP 配置HADDOP.TMP.DIR 注意 先说说,场景,在开发环境中,由于意外断电.重新启动HADOOP MASTER 结点.启动HADOOP START-ALL.SH grid$ start-all.sh 查看http:\\hdnode1m:50070\ 无法打开网页
hdfs目录上/tmp/hive空间资源过大问题
u013176920的博客
11-14 1396
我理解您想知道HDFS上tmp/hive空间资源占用过大的原因，有没有什么清理机制？ Hive的临时目录是用来存放不同阶段的map/reduce任务的执行计划和中间结果的，如果Hive任务成功完成的话，临时文件会被自动清理，如果Hive任务被取消或者中断，那么这个任务的临时文件就会被遗留下来。 您可以手动删除这些旧文件，但不要删除任务还未完成的临时文件。您也可以通过 cron job来定期删除...
hadoop磁盘空间满的异常
大数据训练营
09-01 1万+
本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。 起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！ 下面散仙模拟当时的环境，接到问题后，第一件事就是先查看centos系统的磁盘使用率 执行命令
hadoop修改hadoop.tmp.dir
Binbinhb的博客
03-11 3009
hadoop.tmp.dir的目录默认指向的是：/tmp/hadoop-${USERNAME} 这样会有个问题，系统重启时会自动删除/tmp目录下的文件，导致你之前对hadoop做的很多操作都被删除了，需要重新再来，比如你想hdfs导入的文件会都被删除。这是你需要修改 ${hadoop_home}/etc/hadoop/core-site.xml文件，添加一个名字为"hadoop.tmp.dir...
hadoop之理解tmp目录下的文件
weixin_40645193的博客
10-08 4537
1)修改tmp路径 解决办法将原来name copy /home/crx/tmp (这个路径是之前在HADOOP_HOME/etc/hadoop/core-site.xml 中name标签下配置的路径） (修改目录后，新目录是没有之前的数据的。但之前的目录依旧存在，所以需要将之前目录里的东西拷贝到 新目录里） 2)不删除tmp目录， 直接格式化 格式化HDFS namenode $>hdfs namenode -format (格式化namenode 会为namenode重新生成一个clusterID
【大数据】hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件)
debimeng
03-31 1412
hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件) 场景： 在hadoop不同版本多次尝试查看最大的几个文件后总结出最终版本。 解决： 系统 CentOS7.6 [hadoop@hd hadoop]$ hadoop fs -du / | sort -nr | head -n 5 --查看/目录下最大的五个文件，其中mmtst为文件...
Hadoop集群连接报错（以及tmp目录的设置）
yhblog的博客
11-12 2198
问题： 经过查找，解决办法： 查看集群是否启动？： 集群关闭常出现在学习过程中，因为每天我们需要电脑关机，当我们的物理机关闭后，那么虚拟机里面的集群也会随之关闭，在我们下次使用集群前输入命令就会报错，所以我们需要重新启动namenode和datanode 注：第一次格式化namanode后，不要总是每次启动后就格式化namenode。最好直接启动namenode和datanode。 ...
hadoop 修改 logs路径 和tmp路径
mrking0105的专栏
06-20 2003
修改过程 1，停掉hadoop集群。 2，拷贝原始logs路径下和tmp路径下的内容到新的路径下（目标路径）。其实删除tmp路径下内容也可以。 3，修改配置文件，hadoop-env.sh和core-site.xml。（如后文所示） 4，启动hadoop集群。 修改hadoop logs路径 在hadoop-env.sh中，修改为 # Where log files ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值