Hadoop分布式文件系统命令行接口（HDFS Shell）详细版

处事有何定凭？但求此心过得去
立业无论大小，总要此身做得来

HDFS快速入门

Hadoop分布式文件系统（HDFS）快速入门

HDFS知识梳理详细版

Hadoop分布式文件系统（HDFS）知识梳理（超详细）

HDFS Shell详细介绍

1. appendToFile
   hadoop fs -appendToFile <localsrc> ... <dst>
   添加（追加）一个或多个源文件到目标文件中，或者将标准输入中的数据写入目标文件
2. balancer
   hdfs balancer [-threshold <threshold>] [-policy <policy>] [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] [-include [-f <hosts-file> | <comma-separated list of hosts>]] [-idleiterations <idleiterations>]
   用于平衡Hadoop集群中各DataNode中的文件块分布，以避免出现部分DataNode磁盘占用率高的问题

选项名称	说明
-threshold <threshold>	表示平衡的阀值，取值范围在0%到100%之间 即每个DataNode中空间使用率与HDFS集群总的空间使用率的差距百分比
-policy <policy>	平衡策略，默认DataNode 应用于重新平衡HDFS存储的策略，默认DataNode策略平衡了DataNode 级别的存储，这类似于之前发行版的平衡策略 BlockPool 策略平衡了块池级别和DataNode级别的存储，BlockPool策略仅适用于Federated HDFS服务
-exclude/include	参数-exclude和-include是用来选择Balancer时，可以指定哪几个DataNode之间重分布 也可以从HDFS集群中排除哪几个节点不需要重分布
-idleiterations <iterations>	迭代检测的次数

3. cat
   hadoop fs -cat URI [URI ...]
   将路径指定文件的内容输入到stdout
4. chgrp
   hadoop fs -chgrp [-R] GROUP URI [URI ...]
   改变文件或目录的组信息
5. chmod
   hadoop fs -chmod [-R] <MODE[,MODE] ... | OCTALMODE> URI [URI ...]
   修改文件权限，修改者必须拥有该目录权限，或者是拥护者的父用户
   -R表示递归
6. chwon
   hadoop fs -chwon [-R] [OWNER] [:[GROUP]] URI [URI ...]
   修改文件拥有者，修改者必须拥有该文件或者是其父用户
   -R表示递归
7. copyFromLocal
   hadoop fs -copyFromLocal <localsrc> URI
   拷贝本地文件到HDFS，类似于put命令，但可以拷贝目录
   -f表示覆盖原来已存在目录
8. copyToLocal
   hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
   拷贝HDFS文件到本地，类似于get命令，但可以拷贝目录
9. count``
   hadoop fs -count [-q] [-h] [-v] <paths>
   统计目录下的文件数和空间占用情况
   -h表示输出格式化后的信息
   -v表示输出表头

-count	-count -q	输出列	说明
	√	QUOTA	命名空间quota（创建的文件数目）
	√	REMAINING_QUOTA	剩余的命名空间quota（剩余能创建的文件数目）
	√	SPACE_QUOTA	物理空间quota（限制磁盘空间