Hadoop 命令整理

2019独角兽企业重金招聘Python工程师标准>>>

1.appendToFile

将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。

用法：hadoop fs -appendToFile <localsrc> ... <dst>

例子：hadoop fs -appendToFile log.txt  word.txt hdfs://Hadoop1:9000/hd-test.txt

2.cat

将指定【hdfs文件】内容输出到控制台。

用法： hadoop fs -cat [-ignoreCrc] URI [URI ...]

例子：hadoop fs -cat hdfs://Hadoop1:9000/hd-test.txt

3.checksum

返回【文件】的校验和信息。

用法：hadoop fs -checksum URI

例子：hadoop fs -checksum file:///etc/hosts    检验本地文件

         hadoop fs -checksum hdfs://Hadoop1:9000/hd-test.txt    检验hdfs文件

4.chgrp

更改hdfs【hdfs文件】的组关联。用户必须是文件的所有者，否则是超级用户。

用法：hadoop fs -chgrp [-R] GROUP URI [URI ...]

-R选项将通过目录结构递归地进行更改

例子：hadoop fs -chgrp hadoop hdfs://Hadoop1:9000/hd-test.txt

5.chmod

更改文件的权限。使用-R，递归地通过目录结构进行更改。用户必须是文件的所有者，否则是超级用户。

用法： hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

例子：hadoop fs -chmod 777 hdfs://Hadoop1:9000/hd-test.txt

6.chown

更改文件的所有者。用户必须是超级用户。

用法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

例子：hadoop fs -chown hadoop hdfs://Hadoop1:9000/hd-test.txt

7.copyFromLocal

与fs -put命令类似，-put把本地或者HDFS上的文件拷贝到HDFS中，copyFromLocal源限制为本地文件。

用法：hadoop fs -copyFromLocal <localsrc> URI

参数：

• -p：保留访问和修改时间，所有权和权限。（假设权限可以跨文件系统传播）
• -f：覆盖目标，如果它已经存在。
• -l：允许DataNode延迟地将文件保存到磁盘，强制复制因子为1.此标志将导致减少的持久性。
• -d：跳过创建后缀为._COPYING_的临时文件。

例子：hadoop fs -copyFromLocal word.txt  hdfs://Hadoop1:9000/word.txt

8.copyToLocal

与get命令类似，只是目标被限制为本地文件。

用法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

例子：hadoop fs -copyToLocal  hdfs://Hadoop1:9000/word.txt word3.txt

9.count

统计与指定文件模式匹配的路径下的目录，文件和字节数。带有-count的输出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME。

参数：

• -q的输出列为：QUOTA，REMAINING_QUATA，SPACE_QUOTA，REMAINING_SPACE_QUOTA，DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME
• -h选项以可读格式显示大小。
• -v选项显示标题行。

用法：hadoop fs -count [-q] [-h] [-v] <paths>

例子：hadoop fs -count -v  hdfs://Hadoop1:9000/word.txt

10.cp

将文件从源文件复制到目的地。这个命令允许多个源，在这种情况下，目标必须是一个目录。
如果（1）源和目标文件系统支持它们（仅限于HDFS），（2）所有源和目标路径名都在/.reserved/raw层次结构中，则保留'raw。*'命名空间扩展属性。确定raw。* namespace xattrs是否保存与-p（preserve）标志无关。
选项：

• -f如果它已经存在，选项将覆盖目标。
• -p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAttr）。如果-p指定为不带arg，则保留时间戳，所有权和权限。如果指定了-pa，则还会保留权限，因为ACL是超级权限。确定是否保留原始名称空间扩展属性与-p标志无关。

用法：hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

例子：

 

 

 

 

 

转载于:https://my.oschina.net/u/1765168/blog/1573283