HDFS概念

HDFS( Hadoop distributed File System)

设置思想:将大文件、大批量文件,分布式放在大量服务器上,以便采取分而治之的方式对海量数据进行运算分析;

在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,hivetez,...)提供数据储存服务

HDFS是一个文件系统其次他是分布式的

重要特性如下：

1)HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M

2)HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

3)目录结构及文件分块信息(元数据)的管理由namenode节点承担

——namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

4)文件的各个block的存储管理由datanode节点承担

---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

5)HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改

HDFS命令,客户端支持的命令参数

[-appendToFile <localsrc> ... <dst>]         [-cat [-ignoreCrc] <src> ...]         [-checksum <src> ...]         [-chgrp [-R] GROUP PATH...]         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]         [-chown [-R] [OWNER][:[GROUP]] PATH...]         [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]         [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-count [-q] <path> ...]         [-cp [-f] [-p] <src> ... <dst>]         [-createSnapshot <snapshotDir> [<snapshotName>]]         [-deleteSnapshot <snapshotDir> <snapshotName>]         [-df [-h] [<path> ...]]         [-du [-s] [-h] <path> ...]         [-expunge]         [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-getfacl [-R] <path>]         [-getmerge [-nl] <src> <localdst>]         [-help [cmd ...]]         [-ls [-d] [-h] [-R] [<path> ...]]         [-mkdir [-p] <path> ...]         [-moveFromLocal <localsrc> ... <dst>]         [-moveToLocal <src> <localdst>]         [-mv <src> ... <dst>]         [-put [-f] [-p] <localsrc> ... <dst>]         [-renameSnapshot <snapshotDir> <oldName> <newName>]         [-rm [-f] [-r|-R] [-skipTrash] <src> ...]         [-rmdir [--ignore-fail-on-non-empty] <dir> ...]         [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]         [-setrep [-R] [-w] <rep> <path> ...]         [-stat [format] <path> ...]         [-tail [-f] <file>]         [-test -[defsz] <path>]         [-text [-ignoreCrc] <src> ...]         [-touchz <path> ...]         [-usage [cmd ...]]

常用命令参数介绍

-help              功能：输出这个命令参数手册 hdfs dfs hadoop fs

-ls                   功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果

-mkdir               功能：在hdfs上创建目录 示例：hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd

-moveFromLocal             功能：从本地剪切粘贴到hdfs 示例：hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd -moveToLocal               功能：从hdfs剪切粘贴到本地 示例：hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt

--appendToFile   功能：追加一个文件到已经存在的文件末尾 示例：hadoop  fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt 可以简写为： Hadoop  fs  -appendToFile  ./hello.txt  /hello.txt

-cat   功能：显示文件内容   示例：hadoop fs -cat  /hello.txt -tail                  功能：显示一个文件的末尾 示例：hadoop  fs  -tail  /weblog/access_log.1 -text                   功能：以字符形式打印一个文件的内容 示例：hadoop  fs  -text  /weblog/access_log.1

-chgrp -chmod -chown 功能：linux文件系统中的用法一样，对文件所属权限 示例： hadoop  fs  -chmod  666  /hello.txt hadoop  fs  -chown  someuser:somegrp   /hello.txt

-copyFromLocal     功能：从本地文件系统中拷贝文件到hdfs路径去 示例：hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/ -copyToLocal       功能：从hdfs拷贝到本地 示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-cp               功能：从hdfs的一个路径拷贝hdfs的另一个路径 示例： hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2 -mv                      功能：在hdfs目录中移动文件 示例： hadoop  fs  -mv  /aaa/jdk.tar.gz  /

-get               功能：等同于copyToLocal，就是从hdfs下载文件到本地 示例：hadoop fs -get  /aaa/jdk.tar.gz -getmerge              功能：合并下载多个文件 示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum

-put                 功能：等同于copyFromLocal 示例：hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-rm                 功能：删除文件或文件夹 示例：hadoop fs -rm -r /aaa/bbb/ -rmdir                  功能：删除空目录 示例：hadoop  fs  -rmdir   /aaa/bbb/ccc

-df                功能：统计文件系统的可用空间信息 示例：hadoop  fs  -df  -h  / -du 功能：统计文件夹的大小信息 示例： hadoop  fs  -du  -s  -h /aaa/*

-count          功能：统计一个指定目录下的文件节点数量 示例：hadoop fs -count /aaa/

-setrep                 功能：设置hdfs中文件的副本数量 示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz <这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量>

HDFS工作机制

1.HDFS集群分为两大角色：NameNode(主节点)、DataNode(从节点)、

2.NameNode负责管理整个文件系统的元数据（block日志，镜像文件fsimage ）

3.DataNode 负责管理用户的文件数据块

4.文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上

5.每一个文件块可以有多个副本，并存放在不同的datanode上

6.Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

7.HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

写数据流程:

1、客户端根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在

2、namenode返回是否可以上传

3、client请求第一个 block该传输到哪些datanode服务器上

4、namenode返回3个datanode服务器ABC

5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端

6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答

7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

读数据流程:

1、跟namenode通信查询元数据，找到文件块所在的datanode服务器

2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet(包)为单位来做校验）

4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件

namenode对数据的管理采用了三种存储形式：

内存元数据(NameSystem)

磁盘元数据镜像文件

数据操作日志文件（可通过日志运算出元数据）