Hadoop之HDFS

最新推荐文章于 2024-03-05 14:40:44 发布

原创最新推荐文章于 2024-03-05 14:40:44 发布 · 286 阅读

CC 4.0 BY-SA版权

5 篇文章

订阅专栏

HDFS的概念和特性

HDFS集群分为两大角色：NameNode，DataNode（SecondaryNode）
NameNode负责管理整个文件系统的元数据
DataNode负责管理用户的文件数据块
文件会按照固定的大小blocksize切成若干块后分布式存储在若干台DataNode上
每个文件块可以有多个副本，并存放在不同的DataNode上
*DataNode会定期向NameNode汇报自身所保存的文件block信息，而NameNode则会负责保持文件的副本数量
HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向NameNode申请来进行

Client与NameNode通信请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在
NameNode返回是否可以上传
client请求第一个block该传输到哪些DataNode服务器上
NameNode返回3个DataNode服务器ABC
client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，以packet为单位，A收到一个packet就会传给B，B传给C，A每传一个packet就会放入一个应答队列等待应答
当一个block传输完成之后，client再次请求NameNode上传第二个block的服务器

NameNode职责
- 负责客户端请求的响应
- 负责元数据管理
  - 目录树
  - DataNode信息池
元数据管理
NameNode对数据的管理采用三种存储形式
- 内存元数据NameSystem
- 磁盘元数据镜像文件fsimage
- 数据操作日志文件edits
元数据存储机制
- 内存中有一份完整的元数据matedata
- 磁盘有一个准完整元数据镜像，文件在NameNode工作目录中
- 操作日志用于衔接内存和持久化数据镜像
注：当客户端对HDFS中的文件进行新增或者修改操作，操作记录首先记入edits日志文件中，当客户端操作成功后，相应的元数据会更新到内存matedata中
元数据checkpoint
每隔一段时间，会由SecondaryNameNode上积累所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge，这个过程称为checkpoint

checkpoint操作触发条件可配置
- 时间间隔
  dfs.namenode.checkpoint.period=3600单位s
- 操作记录间隔
  dfs.namenode.checkpoint.txns=1000000
checkpoint附带作用
NameNode和SecondaryNameNode工作目录存储结构完全相同，当NameNode故障退出需要重新恢复时，可以从SeconaryNameNode的工作目录中将fsimage拷贝到NameNode的工作目录，以恢复NameNode的元数据

NameNode发现集群中block丢失率达到一定比例0.01%会进入安全模式safemdoe，在安全模式下，客户端不能对任何数据进行操作，只能查看元数据信息
在HDFS冷启动时，NameNode会在safemode状态下维持一段时间，等待自动退出安全模式即可

原理：NameNode的内存元数据中，包含文件路径，副本数，blockid及每个block所在DataNode的信息，而fsimage中，不包含block所在DataNode信息。那么，当NameNode冷启动时，此时内存中的元数据只能从fsimage中加载而来，从而就没有block所在的DataNode信息——>导致NameNode认为所有的block都已经丢失——>进入安全模式——>DataNode启动后，会定期向NameNode汇报自身所持有的blockid信息 ——>随着DataNode陆续启动，从而陆续汇报block信息，NameNode就会将内存元数据中block所在DataNode信息补全更新——> 找到所有block的位置，从而自动退出安全模式
手动退出
safemode：hdfs namenode --safemode leave