Hadoop--基础指令以及示意

1、创建文件夹

·hadoop fs -mkdir [-p] <path>...

path 为待创建导入目录

-p 选项的行为与Unix mkdir -p 非常相似，它会沿着路径创建父目录

2、查看指定目录下的内容

·hadoop fs -ls [-h] [-R] [<path>...]

path指定目录路径

-h 人性化显示文件size

-R 递归查看指定目录及其子目录

3、上传文件到HDFS指定目录下

·hadoop fs -put [-f] [-p] <localsrc>...<dst>

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限

localsrc 本地文件系统（客户端所在机器）

dst 目标文件系统（HDFS）

4、查看HDFSA文件内容

·hadoop fs -cat <src>...

读取指定文件全部内容，显示在标准输出控制台

注意：对于大文件内容读取，慎重

5、查看HDFSA文件内容

·hadoop fs -tail <src>...

读取指定文件全部内容，显示在标准输出控制台

6、下载HDFS文件

·hadoop fs -get [-f] [-p] <src>...<localdst>

下载文件到本地文件系统指定目录，localdst必须是目录

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

7、拷贝HDFS文件（在HDFS文件系统中）

·hadoop fs -cp [-f] <src>...<dst>

-f 覆盖目标文件（已存在下）

8、追加数据到HDFS文件中

·hadoop fs -appendToFile <localsrc>...<dst>

将所有给定本地文件的内容追加到给定dst文件

dst如果文件不存在，将创建该文件

如果<localSrc> 为空，则输入为标准输入中读取

9、HDDS数据移动操作

·hadoop fs -mv <src>...<dst>

移动文件到指定文件夹下

可以使用该命令移动数据，重命名文件的名称

10、、主角色：namenode

·namenode是Hadoop分布式文件系统的核心，架构中的主角色

·namenode维护和管理文件系统元数据，包括名称空间目录树结构，文件和块的位置信息，访问权限等信息。

·基于此，namenode成为了访问HDFS的唯一入口。

·namenode内部通过内存和磁盘文件俩种方式管理元数据

·其中磁盘文件的元数据文件包括Fsimage内存元数据镜像文件和edits kog(Journal)编辑日志。

11、namenode职责

·NameNode仅储存HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件，不存储实际数据

·NameNode知道HDFS中任何给定文件的块列表及其位置，使用此信息NameNode知道如何从块中构建文件。

·NameNode是Hadoop集群中的单点故障

·NameNode所在机器通常配置有大量内存(RAM)

12、从角色：datanode

·datanode是hadoop HDFS中的从角色，负责具体的数据块存储

·datanode的数量决定了HDFS集群的整体数据 存储能力，通过和namenode配合维护着数据块。

datanode职责：

·DataNode负责最终数据块block的存储，是集群的从角色，也称slave。

·DataNode启动时，会将自己注册到namenode并汇报自己负责持有的块列表

·当某个datanode关闭时，不会影响数据的可用性，namenode将安排由其他datanode管理的块进行副本复制。

·datanode所在机器通常配置有大量的硬盘空间，因为实际数据存储在datanode中。

13、主角色辅助角色：secondarynamenode

·Secondary Namenode充当Namenode的辅助节点，但不能代替Namenode

·主要是帮助主角色进行元数据文件的合并动作，可以通俗的理解为主角色的“秘书”

14、查看所有队列的列表

·yarn queue -status root

15、检查NameNode状态

·hdfs dfsadmin -report

16、执行作业

hadoop jar /export/server/share/hadoop/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmaroed.job.queue.name=root.root  指定队列

17、删除现有的输出目录

·hdfs dfs -rm -r /output