一、HDFS概述
1.1 HDFS产生的背景
随着数据量越来越大，在一个操作系统存储不下所有的数据，那么就分配带更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.2 HDFS定义
HDFS（Hadoop Distributed File System），首先它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多台服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的适用场景：适合一次写入、多次读出的场景，且不支持文件的修改。适合用于数据分析，不合适作为网盘。
1.3HDFS的设计理念
（1）硬件错误：硬件错误是常态而不是异常。（2）流式数据访问：运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。 HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。更关键的在于数据访问的高吞吐量（3）大规模数据集：运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小 一般都在G字节至T字节。（4）简单的一致性模型：HDFS应用需要一个“一次写入多次读取”的文件访问模型。（5）移动计算比移动数据更划算（6）异构软硬件平台间的可移植性
1.4 HDFS优缺点
1.5 HDFS组成架构
1. NameNode（nn）：就是master，是一个主管、管理者。
(1) 管理HDFS的名称空间；
(2) 配置副本策略；
(3) 管理数据块（Block）映射信息；
(4) 处理客户端读写请求。
2. DataNode（dn）：就是slave。NameNode下达命令，DataNode执行命令。
(1) 存储实际的数据块；
(2) 执行数据块的读/写操作。
3. Client：客户端。
(1) 文件切片。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；（mapredus）
(2) 与NameNode交互，获取文件的位置信息；
(3) 与DataNode交互，读取或写入数据；
(4)Client提供一些命令来管理HDFS，比如NameNode格式化；
(5)Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作。
4. SecondaryNameNode：并非NameNode的热备。当NameNode挂掉时，它不会马上替换NameNode并提供服务。
(1) 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；
(2) 紧急情况下，可以辅助恢复NameNode。
1.6HDFS文件块的大小
HDFS中的文件在物理上式分块存储的（Block），块的大小可以通过参数dfs.blocksize设置，在Hadoop2.X版本中，默认大小是128MB，老版本是64MB，本地运行是32MB。
为什么块的大小不能设置太小，也不能设置太大？
(1)HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，
(2)如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据是，会非常慢。总结：HDFS块的大小设置主要取决于磁盘传输速率。
为什么要分块➢ 能够存储大数据。一个文件的大小可以大于网络中任意一个磁盘的容量。➢ 将存储子系统的处理对象设置为块而非整个文件，可简化存储管理。➢ 适合数据备份进而提供数据容错能力和高可用性。
1.7数据的复制
1.数据复制的概念
为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。 HDFS中的文件都是一次性写入的，并且严格要求在任何时候只能有一个写入者。Namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下来。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文 件的副本系数，这个信息也是由Namenode保存的。
2.机架感知（多副本存储节点选择）
副本的存放 是 HDFS可靠性和性能的关键 。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累HDFS采用一种称为 机架感知 (rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。
大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间 的通讯需要经过交换机。在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架 的两台机器间的带宽大。通过一个机架感知的过程，Namenode可以确定每个Datanode所属的机架id。 一个简单但没有 优化的策略就是将副本存放在不同的机架上 。这样可以有效防止当整个机架失效时数据的丢 失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在 集群中，有利于当组件失效情况下的负载均衡。 但是，因为这种策略的一个写操作需要传输 数据块到多个机架，这增加了写的代价。
默认情况下，每个数据块的副本数为3。
HDFS的存放策略是将一个副本存放在本地机架的节点上，一个副本放在另一个机架的随机一 个节点，最后一个副本放在第二个副本所在机架的随机节点。这种策略减少了机架间的数据传输，这就提高了写操作的效率。 机架的错误远远比节点的错误少 ，所以这个策略不会影响到数据的可靠性和可用性。于此同时， 因为数据块只放在两个（不是三个）不同的机架上，所以此策略减少了读取数据时需要的网络传输总带宽 。在这种策略下，副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上，三分之二的副本在一个机架上，其他副本均匀分布在剩下的机架中，这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。
3.副本选择
为了降低整体的带宽消耗和读取延时， HDFS会尽量让读取程序读取离它最近的副本 。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。
如何判断最近
节点距离：两个节点到达最近的共同祖先的距离总和。
副本选择
举例：假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。
利用这种标记，给出四种距离描述
1.8其它重要概念
安全模式
Namenode启动后会进入一个称为安全模式的特殊状态。处于安全模式的Namenode是不会进行 数据块的复制的 。Namenode从所有的 Datanode接收心跳信号和块状态报告。块状态报告包括了某个Datanode 所有的数据块列表。每个数据块都有一个指定的最小副本数。当Namenode检测确认某个数据 块的副本数目达到这个最小值，那么该数据块就会被认为是副本安全(safely replicated) 的；在一定百分比（这个参数可配置）的数据块被Namenode检测确认是安全之后（加上一个 额外的30秒等待时间），Namenode将退出安全模式状态。接下来它会确定还有哪些数据块的 副本没有达到指定数目，并将这些数据块复制到其他Datanode上。
通讯协议
所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode，通过ClientProtocol协议与Namenode交 互。而Datanode使用DatanodeProtocol协议与Namenode交互。
健壮性
HDFS 的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是： Namenode 出错 , Datanode 出错和网络割裂 (network partitions) 。
盘数据错误，心跳检测和重新复制
每个Datanode节点周期性地向Namenode发送心跳信号 。网络分区可能导致一部分Datanode跟 Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况，并将这些近期不再发送 心跳信号Datanode标记为 宕机 ， 不会再将新的IO请求发给它们 。任何存储在宕机Datanode上的数据将不再有效。Datanode的宕机可能会引起一些数据块的副 本系数低于指定值，Namenode不断地检测这些需要复制的数据块，一旦发现就启动复制操作。在下列情况下，可能需要重新复制：➢ 某个Datanode节点失效➢ 某个副本遭到损坏➢ Datanode上的硬盘错误➢ 文件的副本系数增大
掉线时间设置
1、DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信2、NameNode不会立刻把该节点判定为死亡，要经过一段时间，这段时间成为 超时时长 。3、HDFS的默认超时时长为10分钟+30秒4、如果定义超时时间为TimeOut，则超时时长的计算公式为：TimeOut = 2*dfs.namenode.heartbeat.recheck-interval+10*dfs.heartbeat.interval而默认的dfs.namenode.heartbeat.recheck-interval大小为5分钟，dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>集群负载均衡
HDFS的架构支持数据均衡策略。➢ 如果某个Datanode节点上的空闲空间低于特定的临界点，按照均衡策略系统就会自动地将数据从这个Datanode移动到其他空闲的Datanode。➢ 当对某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并且同时重新平衡集群中的其他数据。这些均衡策略目前还没有实现。
数据完整性
从某个Datanode获取的数据块有可能是损坏的，损坏可能是由Datanode的存储设备错误、网 络错误或者软件bug造成的。HDFS客户端软件实现了对HDFS文件内容的校验和(checksum)检查 。当客户端创建一个新的HDFS文件，会计算这个文件每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存 在同一个HDFS名字空间下。当客户端获取文件内容后，它会检验从Datanode获取的数据跟相应的校验和文件中的校验和是否匹配， 如果不匹配，客户端可以选择从其他Datanode获取该数据块的副本 。奇偶校验、CRC校验
元数据磁盘错误
FsImage和Editlog是HDFS的核心数据结构。如果这些文件损坏了，整个HDFS实例都将失效。因而，Namenode可以配置成支持维护 多个FsImage和Editlog的副本 。任何对FsImage或者Editlog的修改，都将同步到它们的副本上。这种多副本的同步操作可能会降低Namenode每秒处理的名字空间事务数量。然而这个代价是可以接受的，因为即使HDFS的应用是数据密集 的，它们也非元数据密集的。 当Namenode重启的时候，它会选取最近的完整的FsImage和 Editlog来使用。
快照
快照支持某一特定时刻的数据的复制备份。利用快照，可以让HDFS在数据损坏时恢复到过去 一个已知正确的时间点。 HDFS目前还不支持快照功能 ，但计划在将来的版本进行支持。
二、HDFS Shell的相关操作
1. 基本语法
bin/hadoop fs 具体命令 或bin/hdfs dfs 具体命令，dfs是fs的实现类。
2. 命令大全
输入hdfs dfs即可查看
3. 常用命令
常见命令
（1）-help：输出命令的帮助信息
#hadoop fs -help rm
（2）-ls：显示目录信息
#hadoop fs -ls / 或者 hadoop dfs
（3）-mkdir：在HDFS上创建目录
#hadoop fs -mkdir -p /tmp/test
（4）-rmdir：删除空的路径
#hadoop fs -mkdir /test
#hadoop fs -rmdir /test
上传
（1）-moveFromLocal：从本地剪切粘贴到HDFS
#touch /tmp/zhangsan.txt
#echo 'i am zhangsan' > /tmp/zhangsan.txt
#hadoop fs -moveFromLocal /tmp/zhangsan.txt /tmp/test
（2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
#touch /tmp/weiguo.txt
#echo 'i am weiguo' > /tmp/weiguo.txt
#hadoop fs -copyFromLocal /tmp/weiguo.txt /tmp/test
（3）-put：等同于copyFromLocal，生产环境更习惯用put
#touch /tmp/wuguo.txt
#echo 'i am wuguo' > /tmp/wuguo.txt
# hadoop fs -put /tmp/wuguo.txt /tmp/test（4）-appendToFile：追加一个文件到已经存在的文件末尾
#touch /tmp/age.txt
#echo 'i am 7' > /tmp/name.txt
#hadoop fs -appendToFile /tmp/name.txt /tmp/test/zhangsan.txt
下载
（1）-copyToLocal：从HDFS拷贝到本地
#hadoop fs -copyToLocal /tmp/test/zhangsan.txt /tmp
（2）-get：等同于copyToLocal，生产环境更习惯用get
#hadoop fs -get /tmp/test/zhangsan.txt /tmp/zhangsan2.txt
（3）-getmerge：合并下载多个文件，比如HDFS的目录/logs下有log.1、log.2、log.3、……
#hadoop fs -getmerge /tmp/test/jinguo/* /tmp/test
hdfs操作
（1）-cat：显示文件内容
#hadoop fs -cat /tmp/test/zhangsan.txt
（2）-chgrp、-chmod、chown：与Linux系统中的用法一致，修改文件的所属权限
#hadoop fs -chmod 666 /tmp/test/zhangsan.txt
#hadoop fs -chown root:root /tmp/test/zhangsan.txt
（3）-cp：从HDFS的一个路径拷贝到另一个路径
# hadoop fs -mkdir -p /tmp/test/jinguo
# hadoop fs -cp /tmp/test/wuguo.txt /tmp/test/jinguo
（4）-mv：在HDFS路径间移动文件
#hadoop fs -mv /tmp/test/weiguo.txt /tmp/test/jinguo
（5）-tail：显示一个文件的结尾
#hadoop fs -tail /tmp/test/zhangsan.txt
（6）-rm：删除文件或路径
#hadoop fs -rm /tmp/test/zhangsan.txt
(7）-rm -r：递归删除目录及目录里面内容
#hadoop fs -rm -r /jisuanji
(8）-rm -r：递归删除目录及目录里面内容
#hadoop fs -rm -r /tmp/test/jisuanji
（9）-du：统计文件夹的大小信息
#hadoop fs -du -s -h /tmp/test
#hadoop fs -du -h /tmp/test
（10）-setrep：设置HDFS中文件的副本数量
#hadoop fs -setrep 10 /tmp/test/zhangsan.txt
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时， 副本数才能达到10。
三、 HDFS客户端操作
3.1客户端分类
（1）Shell
hadoop fs以及hdfs dfs
（2）Java api
3.2操作环境准备
在IDEA中创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文 件中填入：
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%nWindows电脑远程调用
当本地springboot项目作为hadoop客户端的hdfs，会报错
HADOOP_HOME and hadoop.home.dir are unset. 问题原因windos电脑作为客户端，操作hdfs还需要下载一个Windows的winutils程序。下载地址
1）下载Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。
2）配置HADOOP_HOME环境变量
3）配置Path环境变量。
4）双击winutils.exe，验证Hadoop环境变量是否正常。
创建包，创建HDFSClient类
public class HDFSClient {
@Test
public void testMkdirs() throws IOException, URISyntaxException, InterruptedException
{
// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");
// 2 创建目录
fs.mkdirs(new Path("/tmp/test1"));
// 3 关闭资源
fs.close();
}
}
3.3HDFS的API操作
客户端使用流程：1. 获取文件系统Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop101:8020"), configuration, "hadoop");2. 用FileSystem对象调用相关函数接口
1）copyFromLocalFile(new Path(“本地路径”), new Path(“HDFS路径"));2）copyToLocalFile(false, new Path(“HDFS路径”), new Path(“本地路径"), true);3）rename(new Path(“HDFS文件名”), new Path(“HDFS文件名"));4）fs.delete(new Path(“HDFS文件名"), true);
本地文件上传
@Test
public void myUpload() throws IOException, URISyntaxException, InterruptedException {
// 创建Hadoop配置对象
Configuration configuration = new Configuration();
// 获取HDFS文件系统对象，指定HDFS的URI、配置对象和用户名
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");
// 从本地文件系统复制文件到HDFS
// 本地路径为"D:\桌面\作业.doc"，目标HDFS路径为"/tmp/test1"
fs.copyFromLocalFile(true,new Path("D:\\桌面\\作业.txt"), new Path("/tmp/test1"));
// 关闭文件系统对象，释放资源
fs.close();
}文件下载
@Test
public void myDownload() throws IOException, URISyntaxException, InterruptedException {
// 创建Hadoop配置对象
Configuration configuration = new Configuration();
// 获取HDFS文件系统对象，指定HDFS的URI、配置对象和用户名
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");
// 从HDFS下载文件到本地文件系统
// HDFS源路径为"/tmp/test1"，本地目标路径为"D:\\桌面\\作业1.txt"
// 第一个参数false表示不删除源文件
// 最后一个参数true表示覆盖本地已存在的文件
fs.copyToLocalFile(false, new Path("/tmp/test1"), new Path("D:\\桌面\\作业111111111111111111111111111111111.txt"), true);
// 关闭文件系统对象，释放资源
fs.close();
}文件重命名
@Test
public void myRename() throws URISyntaxException, IOException, InterruptedException {
Configuration configuration=new Configuration();
FileSystem fs= FileSystem.get(new URI("hdfs://hadoop102:8020"),configuration,"root");
fs.rename(new Path("/tmp/test1/作业.txt"),new Path("/tmp/test1/mytest1.txt"));
fs.close();
}文件要指定路径 还有这里文件写错了发现IDEA并不会报错
文件删除
@Test
public void myRm() throws IOException, URISyntaxException, InterruptedException {
Configuration configuration=new Configuration();
FileSystem fs=FileSystem.get(new URI("hdfs://hadoop102:8020"),configuration,"root");
fs.delete(new Path("/tmp/test1/mytest1.txt"));
fs.close();
}文件的详细信息
@Test
public void myLs() throws IOException, URISyntaxException, InterruptedException {
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");
// 调用myLs函数，传入根目录路径
myLs(fs, new Path("/"));
fs.close();
}
// 定义myLs函数，用于获取指定路径下所有文件的详细信息
private void myLs(FileSystem fs, Path path) throws IOException {
FileStatus[] fileStatuses = fs.listStatus(path);
for (FileStatus fileStatus : fileStatuses) {
// 打印文件信息
System.out.println("Path: " + fileStatus.getPath());
System.out.println("Permission: " + fileStatus.getPermission());
System.out.println("Owner: " + fileStatus.getOwner());
System.out.println("Group: " + fileStatus.getGroup());
System.out.println("Size: " + fileStatus.getLen());
System.out.println("Modification Time: " + fileStatus.getModificationTime());
System.out.println("Is Directory: " + fileStatus.isDirectory());
if (fileStatus.isDirectory()) {
// 如果是目录，递归调用myLs函数
myLs(fs, fileStatus.getPath());
}
}
}
3.4参数优先级
四、springBoot 集成
4.1相关依赖
<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>3.1.3</version>
</dependency>
4.2对HDFS操作设计以下几个主要的类
Configuration：封装了 客户端或者服务器的配置信息；FileSystem：此类的对象是一个 文件系统对象，可以用该对象的一些方法来对文件进行操作通过FileSystem的静态方法get获得该对象，例：FileSystem hdfs = FileSystem.get(conf)；
FSDataInputStream：这是HDFS中的输入流，通过由FileSystem的open方法获取；
FSDataOutputStream：这是HDFS中的输出流，通过由FileSystem的create方法获取。
4.3yml配置
spring.application.name: HdfsClientDemo
hdfs:
path: hdfs://hadoop102:8020
username: root4.4HDFS文件操作接口开发
配置类
@Configuration
@Data
public class HdfsConfig {
@Value("${hdfs.path}")
private String path;
}初始化
@SpringBootTest
@TestPropertySource(locations = "classpath:application.yml")
public class HdfsServiceTest {
@Value("${hdfs.path}")
private String hdfsPath;
@Value("${hdfs.username}")
private String hdfsUsername;
private Configuration configuration;
private FileSystem fileSystem;
@BeforeEach
public void setUp() throws URISyntaxException {
// 创建一个新的 Hadoop Configuration 对象
configuration = new Configuration();
// 设置 HDFS 的默认文件系统路径
configuration.set("fs.defaultFS", hdfsPath);
// 获取 FileSystem 对象
fileSystem = FileSystem.get(new URI(hdfsPath), configuration, hdfsUsername);
}
}创建目录
@Test
public void testMkdirs() throws Exception {
// 创建一个目录
fileSystem.mkdirs(new Path("/tmp/test2"));
}上传文件
@Test
public void testUpload() throws Exception {
// 上传文件
fileSystem.copyFromLocalFile(new Path("D:\\桌面\\作业.txt"), new Path("/tmp/test2"));
}文件下载
@Test
public void testDownload() throws Exception {
// 下载文件
fileSystem.copyToLocalFile(new Path("/tmp/test2/作业.txt"), new Path("D:\\桌面\\作业1.txt"));
}文件重命名
@Test
public void testRename() throws Exception {
// 重命名文件
fileSystem.rename(new Path("/tmp/test2/作业.txt"), new Path("/tmp/test2/作业2.txt"));
}参考
五、Hadoop部分原理
5.1HDFS的写数据流程
（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。（6）dn1、dn2、dn3逐级应答客户端。（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
5.2HDFS的读数据流程
（1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
5.3NN和2NN的工作机制
NameNode和SecondaryNameNode
Secondary Namenode的产生
NameNode中的元数据存储在哪里？如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还要响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。问题：如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。解决： 产生在磁盘中备份元数据的FsImage 。新问题：当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。解决： 引入Edits文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中 。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门 用 于FsImage和Edits的合并。
工作流
5.4Fsimage和Edits解析
NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/dfs/name/curent目录
中产生如下文件
fsimage_ 0000000000000000000
fsimage_ 0000000000000000000.md5
seen_txid
VERSION
(1) Fsimage文件: HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的
所有目录和文件inode的序列化信息。
(2) Edits文件:存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操
作首先会被记录到Edits文件中。
(3) seen_txid文件 保存的是一个数字，就是最后一个edits_的数字
(4) 每次NameNode 启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，
保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将
Fsimage和Edits文件进行了合并。
查看fsimage
语法：
hdfs oiv –p 文件类型 -i 镜像文件 -o 转换后文件输出路径
[hadoop@hadoop101 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
[hadoop@hadoop101 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o
/opt/module/hadoop-3.1.3/fsimage.xml
[hadoop@hadoop101 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml
思考：可以看出，Fsimage中没有记录块所对应DataNode，为什么？
在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。
集群启动时Namenode不知道Datanode的信息 是Datanode主动上报数据块信息的
查看edits文件
语法：
hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
举例：
[hadoop@hadoop101 current]$ hdfs oev -p XML -i edits_0000000000000000012-
0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml
[hadoop@hadoop101 current]$ cat /opt/module/hadoop-3.1.3/edits.xml
扫一扫
3919
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
