hadoop常用linux命令

最新推荐文章于 2025-10-14 18:20:15 发布

原创最新推荐文章于 2025-10-14 18:20:15 发布 · 673 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #linux #大数据

本文展示了三个Hadoop分布式文件系统(HDFS)的管理命令，包括统计指定文件夹下的文件数量、计算文件总大小以及按时间顺序排序文件列表。

1.查看hdfs上文件夹下文件的个数

hadoop fs -cat /tmp/mc/'`default`'.db/stg_mh_lpdyrmyy_radinfo_pacsimages_mc_temp_mc_temp/* | gunzip -c | wc -l

2.查看hdfs上文件夹下文件的大小

hadoop fs -count -h /tmp/mc/'`default`'.db/stg_mh_lpdyrmyy_radinfo_pacsimages_mc_temp_mc_temp/

3.查看hdfs文件夹下文件按时间顺序排序

[bque@sdw3 ~]$ hadoop fs -ls /tmp/mc/'`default`'.db/stg_mh_lpdyrmyy_radinfo_pacsimages_mc_temp_mc_temp/ | sort -r -k6,7

-r决定正序逆序

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Azoner

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop学习之路(四)：Hadoop排序之全排序的原理及实现

萧邦主的城邦

04-15

3180

Hadoop实现全排序一、全排序简介二、全排序的原理三、准备数据四、全排序的实现1.创建Java工程，添加Maven支持2.编写Map类3.编写Reduce类4.编写作业主类5.将代码打包提交到集群6.运行程序五、总结一、全排序简介全排序其实就是全局排序，就是使得所有数据按序排列输出，和我们平常做的给一个数组排序没有什么区别，唯一的区别就是数据量的不同，这里涉及的数据量是TB级别的，这就意味着...

熟悉常用的 Linux 操作和 Hadoop 操作

qq_52215423的博客

03-21

4140

熟悉常用的 Linux 操作和 Hadoop 操作

参与评论您还未登录，请先登录后发表或查看评论

查看hadoop下文件列表并按日期排序

qq_26645205的博客

09-13

859

查看hadoop下文件列表并按日期排序。

HDFS ls查看文件命令按照时间排序(sort by time)

JacksonKing的专栏

08-29

1万+

　　我们在使用HDFSShell的时候只用最频繁的命令可能就是ls了，其具体含义我就不介绍了。在使用ls的命令时，我们可能想对展示出来的文件按照修改时间排序，也就是最近修改的文件(most recent)显示在最前面。如果你使用的是Hadoop2.8.0以下版本，内置是不支持按照时间等属性排序的。不过值得高兴的是，我们可以结合Shell命令来实现按照文件最近修改的时间对ls命...

配置/启动hadoop、操作hadoop

最新发布

2301_81893110的博客

10-14

529

1下载前1.1 系统要求64 位 Linux（CentOS 7/8、Ubuntu 20+ 均可）内存 ≥4 GB，磁盘 ≥20 GB已配置好静态 IP 与主机名（示例主机名：hadoop-master）1.2 安装 JDK（Hadoop 3.x 须 1.8+）1.3 创建专用用户（可选，但生产必做）1.4 SSH 本机免密（伪分布必须）2下载 Hadoop2.1登录Apache官方网站下载点击最新版（如）的二进制包下载。获取二进制包，2.2 目录结构3安装和配置 Hadoop。

【博学谷学习记录】超强总结，用心分享| 从HDFS上读取文件并实现排序

我爱骑呆马的专栏

01-22

402

spark基础

HDFS的命令行操作

weixin_44644621的博客

10-26

991

doas hdfs dfs -命令访问hdfs文件：doas hdfs dfs -ls URI 新建hdfs文件：doas hdfs dfs -mkdir URI 复制文件到指定位置：hdfs dfs -cp [-f] URI 选项：-f选项覆盖已经存在的目标。查看文件内容：doas hdfs dfs -cat URI ......

Hadoop常用Linux命令及MySQL导入HBase教程

本文档主要介绍了Hadoop在Linux环境下的常用操作命令，结合实际场景，涵盖了以下几个关键知识点： 1. 防火墙管理: - `/etc/init.d/iptablesrestart` 可用于重启防火墙，而关闭服务可以使用 `# /etc/init.d/...

Linux常用的操作命令+hadoop安装指导.docx

06-04

### Linux常用的操作命令+hadoop安装指导 #### Linux用户与权限管理相关知识点 ##### 了解Linux用户与权限管理的重要性在Linux系统中，用户管理和权限控制是确保系统安全性和稳定性的重要手段之一。通过合理地...

数据科学导论实验报告实验1：常用Linux操作和 Hadoop操作

04-30

启动Hadoop后，可以在HDFS中创建用户目录，并通过Hadoop命令如`hadoop fs -mkdir`创建目录，`hadoop fs -put`上传文件，`hadoop fs -ls`查看目录内容，以及`hadoop fs -get`将HDFS上的文件或目录下载到本地。...

Hadoop shell常用命令

10-22

该文档记录了在linux的shell环境下执行的hadoop的相关操作命令，包括多hafs文件的相关操作

HDFS操作常用的Shell命令；

MP-214的博客

11-14

1775

向HDFS中上传任意本地文件 hadoop fs -copyFromLocal URI -f 如果文件存在，则覆盖从本地文件系统考贝到集群上向一个已经存在的HDFS中的文本文件中，追加本地文件的内容到HDFS原有文件末尾 hadoop fs -appendToFile … 将一个本地文件系统的源文件或多个源文件追加到目标文件系统从HDFS中下载指定文件 hadoop fs ...

ls命令按时间排序

nb1253587023的博客

10-06

1760

p -F 在每个文件名后附上一个字符以说明该文件的类型，“*”表示可执行的普通文件；-X 以文件的扩展名(最后一个 . 后的字符)排序。-c 输出文件的 i 节点的修改时间，并以此排序。-d 将目录象文件一样显示，而不是显示其下的文件。-e 输出时间的全部信息，而不是输出简略信息。-k 以 k 字节的形式表示文件的大小。-L 列出链接文件名而不是链接到的文件。-f -U 对输出的文件不排序。-i 输出文件的 i 节点的索引信息。-s 在每个文件名后输出该文件的大小。-B 不输出以 “~”结尾的备份文件。

hdfs指令中count和ls的区别

liaoyanyunde的博客

01-07

4826

hadoop fs -count &amp;lt; hdfs path &amp;gt; 统计hdfs对应路径下的目录个数，文件个数，文件总计大小 count的统计，会向下递归统计 count目录数的统计，不仅会向下递归统计，还会包括根目录的 [root@brms01 ~]# hadoop fs -mkdir -p lyy/1 [root@brms01 ~]# hadoop fs -mkdir -p lyy/2 ...

linux磁盘文件排序 hdfs文件大小排序 sed正则匹配

sinat_25207217的博客

04-09

4354

linux下文件大小排序 hdfs文件系统中的文件大小排序文章目录前言一、本地磁盘文件排序二、hdfs文件排序总结前言在工作和学习中，我们经常需要做一些简单的运维工作，其中最为典型的就是磁盘空间管理。这其中用到最最多的就是获取文件占用的空间，并进行排序。针对本地磁盘文件的排序很简单，但是针对hdfs文件需要借助一些shell命令进行辅助处理。一、本地磁盘文件排序 1. sort常用参数 SYNOPSIS du [OPTION]... [FILE]... OPTION .

查找文件，并按时间排序