Hadoop Shell命令_hadoop head-优快云博客

Hadoop Shell命令：

转载于：http://blog.youkuaiyun.com/kankan_summer/article/details/5695987

FS Shell
cat
chgrp
chmod
chown
copyFromLocal
copyToLocal
cp
du
dus
expunge
get
getmerge
ls
lsr
mkdir
movefromLocal
mv
put
rm
rmr
setrep
stat
tail
test
text
touchz

cat
使用方法：hadoop fs -cat URI [URI …]

将路径指定文件的内容输出到stdout 。

示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3/user/hadoop/file4

copyFromLocal
使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是一个本地文件外，和put 命令相似。

copyToLocal
使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目标路径是一个本地文件外，和get 命令类似。

ls
使用方法：hadoop fs -ls <args>

如果是文件，则按照如下格式返回文件信息：
文件名 <副本数> 文件大小修改日期修改时间权限用户ID 组ID
如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：
目录名 <dir> 修改日期修改时间权限用户ID 组ID
示例：
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

通过URI精确访问指定的目录

另外，如果你在Hadoop 的配置中配置了scheme：//authority部分。那么在你的命令中就可以省略

这个部分。比如：如果你的conf/hadoop-site.xml中配置如下：

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

在这个配置下，URI hdfs://localhost:9000/user/chuck/example.txt可以缩写为

/user/chuck/example.txt

此外，HDFS默认使用的目录为：/user/$USER 这个$USER就是你的登录用户名。如果你用chuck登录

，那么如果要访问的URI是 hdfs://localhost:9000/user/chuck/example.txt。你甚至可以缩写为

example.txt。

此时，你在用cat命令时，只用输入：

hadoop fs -cat example.txt

----------------------------------------------------------------------------------------------------------------------------------------------------------

RETRIEVING FILES（查看文件内容）

Hadoop的get命令用来hdfs文件系统中的文件拷贝到本地文件系统。如果我们想将example.txt文件

拷贝到本地目录。使用如下命令：

hadoop fs -get example.txt

这个命令将会把example.txt文件拷贝到本地的当前目录。

另外hadoop的cat命令可以允许我们查看文件中的内容。

hadoop fs -cat example.txt

我们当然也可以使用Unix shell的管道方式链接另一个命令。

比如，如果一个文件很大，而这事你想快速的查看其中的内容，你可以使用hadoop 的cat命令的输出作为

Unix head命令的输入，比如：

hadoop fs -cat example.txt | head

目前，Hadoop本身也支持tail命令：