本文深入解析HDFS（Hadoop分布式文件系统）的核心组件NameNode和DataNode的工作原理及协同方式。NameNode作为管理者，负责HDFS文件系统的命名空间管理和block管理；DataNode则承担实际的数据存储和读写任务。当客户端请求读取文件时，NameNode会指引其直接与存储目标block的DataNode进行交互。
什么是NameNode和DataNode？他们是如何协同工作的？ 马克-to-win @ 马克java社区：一个HDFS集群包含一个NameNode和若干的DataNode（start-dfs命令就启动了NameNode和DataNode）， NameNode是管理者，主要负责管理hdfs文件系统，具体包括namespace命名空间管理（即目录结构）和block管理。DataNode主 要用来存储数据文件，因为文件可能巨大无比（大数据，大于1TB），HDFS将一个文件分割成一个个的block，这些block可能存储在一个DataNode上或 者多个DataNode上。DataNode负责实际的底层的文件的读写。马克-to-win @ 马克java社区：举个例子：如果客户端client程序发起了读hdfs上的某个文件的指令， NameNode首先将找到这个文件对应的block，然后NameNode告知client，这些block数据在哪些DataNode上，之后， client将直接和DataNode交互。
更多请看下节：https://blog.youkuaiyun.com/qq_44596980/article/details/93386230
扫一扫
1162
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
