Hadoop FS Shell 操作命令

Hadoop FS Shell 常见命令

使用格式:

hadoop fs <arg>
  • 所有的 FS shell 命令使用 URI 路径作为参数,URI格式是 scheme://authority/path
  • 对 HDFS 文件系统,scheme 是 hdfs;对本地文件系统, scheme 是 file。其中, scheme 和 authority 参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。
  • 一个 HDFS 文件或目录,如: /parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child,或者更简单的 /parent/child (假设你配置文件中的默认值是 namenode:namenodeport )。推荐用户使用更简单的HDFS路径表达方式,不必过多关注 namenode 信息。

大多数 FS Shell 命令的行为和对应的 Unix Shell 命令类似,不同之处会在下面介绍中指出。出错信息会输出到 stderr,其他信息会输出到 stdout。

cat

将路径指定文件的内容输出到 stdout,使用方法:

hadoop fs -cat URI [URI ...]

示例:

hadoop fs -cat /user/slave/file1 hdfs://host2:port2/user/slave/file1
hadoop fs -cat file:///file3 /user/slave/file4

返回值:成功返回 0,失败返回 -1

hadoop 上命令行查看 lzo、gz、bz 文件

HDFS上的文件可能是压缩的,所以用cat 不能直接查看,Hadoop 上默认支持 lzo、gz、bz2、snappy 压缩格式。我们用如下命令在命令行查看 HDFS 上压缩文件。

lzo 文件

查看 HDFS上 lzo 文件的命令

# lzop 会接受输入流然后解压输出流给head显示第一行
hadoop fs -cat /Data/Logs/2021-05-28/2021-05-28_log.lzo | lzop -dc | head -1

gzip 文件

查看 HDFS上 gzip 文件的命令

hadoop fs -cat /hadoop/temp.tar.gz | gzip -d | head -1

# 或
hadoop fs -cat /hadoop/temp.tar.gz | zcat

bz2 文件

查看 HDFS上 bz2 文件的命令

hadoop fs -cat /hadoop/temp.bz2 | bzip2 -d

text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

使用方法:

hadoop fs -text <src>

示例:

hadoop fs -text /hadoop/temp.bz2

hadoop fs -text /hadoop/temp.tar.gz

hadoop fs -text /hadoop/temp.lzo

hadoop fs -text /hadoop/out1/part-r-00000

chgrp

改变文件所属的组,使用 -R 将使改变在目录结构下递归进行。命令的使用者必须使文件的所有者或者使超级用户。更多的信息参见 HDFS权限用户指南。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值