大数据Hadoop之HDFS SecondaryNameNode

本文介绍了Hadoop的HDFS工作机制,包括NameNode和DataNode的角色。重点讲解了SecondaryNameNode的作用,它是NameNode的辅助节点,负责周期性合并FsImage和Editlog,优化NameNode的启动时间并防止Editlog过大。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HDFS工作机制

HDFS可以存储大文件,可以将大的文件分块,每一个块可以存储在不同节点(计算机)中,使得不在受到单台计算机存储的限制。另外,可以设置复制因子(默认为3)对每一个块设有多个复本,一旦某个节点宕机之后,还有其他的复本可以供客户端访问。

NameNode和DataNode

在Hadoop集群采用的是主从架构,节点主要分为NameNode和DataNode.NameNode是主节点,DataNode是从节点。
NameNode存储的是元数据,功能如下:

  1. 存储文件的元信息:文件大小、权限,文件有几个块,分别存储在哪些DataNode上
  2. 监控dataNode的状态
  3. 存储的元数据信息是存储在内存中的
    注:NameNode保存了2个核心的数据结构FsImage、editlog,每一次开机启动会从磁盘上拉取这两个文件,将FsImage加载到内存后执行editlog里面的操作。

DataNode功能如下:

  1. 存储文件内容
  2. 文件内容存放在磁盘上
  3. 向NameNode定期发送心跳

SecondaryNameNode

第二名称节点的作用是辅助NameNode工作。每一次NameNode启动之后,会将FSImage和Editlog加载进内存完成两者的合并,并将新的操作(增删改查)写入内存和editlog文件,随着时间的推移,editlog文件会越来越大,当重新

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值