既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
2、处理客户端的访问，并将修改动作记录到edits文件中。
3、在内存中维护数据块的映射信息，即块文件与datanode的对应关系,namenode只在内存中维护此关系，不会永久化到磁盘上，因此在集群刚启动是，namenode中并没有块文件与datanode的对应关系，需要datanode上报自身的块文件信息后，才可以正常工作。
4、实施副本冗余策略，当实际副本数小于配置数时，会启动复制块的线程，直到个数达配置数。
四、namenode的启动过程
- 加载预先生成的持久化文件fsimage。
- 加载没有完成处理的edit log文件。
- 等待DataNode注册和汇报其所包含的block数据，校验meta信息和block数据是否一致。
五、datanode的全量上报过程
- DataNode启动后通过RPC方式向NameNode注册，注册时携带的信息有：Software Version(当前DataNode版本号) storageInfo（集群信息）DataNodeId（节点自身信息）
- 全量上报当前DataNode所有的block块信息，包括block ID、所属文件、存储位置等，目的分别是使用NameNode维护集群数据，与meta进行校验。
- 维护集群数据：NameNode需要知道集群中每个DataNode上存储了哪些block块以及其所属的文件信息，以便在需要时能够有效地管理和调度这些数据块。DataNode会周期性地向NameNode报告自己所存储的所有block块的信息，包括block ID、所属文件、存储位置等。
- 校验meta：在Hadoop集群中，为了确保数据的一致性和完整性，通常会使用Checksum来对数据进行校验。当DataNode上报block块信息时，NameNode会使用这些信息来验证各个DataNode上的block块是否完整、准确，并且与元数据中记录的信息一致。这样可以确保数据在集群中的可靠性。
- 例如，当一个DataNode上报block块信息给NameNode时，NameNode会检查这些信息，确保每个block块的ID、所属文件、复本数量等信息都是正确的。同时，NameNode也会对这些block块所在的DataNode进行通信，验证每个block块的Checksum值，以确保数据的完整性和一致性，Checksum是存储在DataNode的块信息中的，与数据一起存储。全量上报的时候，通过RPC一次性将所有的block发送给namenode比较浪费资源，采用限制分批次的方式，一次只能处理100w的block。
- NameNode收到后，向元数据中记录
- DataNode每周期上报块信息（默认6小时，可配置）
- 心跳检测，三秒一次
- DataNode超过10分钟+30秒没有上报心跳，则NameNode将该节点移出认为该节点不可用
六、FSNamesystem的主要功能
- 命名空间管理： FSNamesystem负责维护HDFS的命名空间，包括文件和目录的创建、删除、重命名等操作，以及管理命名空间中的元数据信息。FSDirectory
- 数据块管理： FSNamesystem负责管理HDFS中数据块的分配、复制、移动和删除等操作，确保数据块的可靠性和高可用性。BlockManager（维护集群中的数据块信息和数据块状态）
- 安全性管理： FSNamesystem负责对HDFS中的文件和目录进行权限控制，验证用户对文件系统的访问权限，并确保数据的安全性。
- 故障处理： FSNamesystem能够检测和处理DataNode的故障，及时调整数据块的复制策略，以保证数据的可靠性和完整性。
- 元数据持久化：</
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
