本文详细介绍了HDFS中client、NameNode、DataNode之间的通信方式，主要通过RPC和Socket实现。NameNode管理文件系统元数据并使用RPC与DataNode、Client交互，DataNode与NameNode间也通过RPC通信，而client与DataNode间则采用Socket通信。文件读写过程中，NameNode分配DataNode，Client直接与DataNode进行Block传输。RPC机制使得分布式环境下跨机器通信成为可能，SSH配置确保了Hadoop集群中节点间的安全通信。
- client和NameNode之间是通过RPC通信
- DataNode和NameNode之间是通过RPC通信
- client和DataNode之间是通过简单的Socket通信
- DataNode与DataNode之间通过RPC通信
以HDFS读写文件为例：
NameNode主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。NameNode本身就是一个RPC的服务端，主要实现的接口有：ClientProtocol、DatanodeProtocol、NamenodeProtocol。
DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。
-
ClientProtocol接口
ClientProtocol协议用于客户端和NameNode之间的交流。客户端通过此协议可以操纵HDFS的目录命名空间、打开与关闭文件流等。该接口协议中定义的与文件内容相关的操作主要有：（1）文件管理，文件的增、删、改，权限控制、文件块管理等；（2）文件系统管理，查看文件系统状态和设置元数据信息，例如容量、块大小、副本因子数等；（3）持久会话类，如放弃对指定块的操作、客户端同步等。 -
DataNodeProtocol接口
该协议用于DataNode和NameNode之间进行通信，例如发送心跳报告和块状态报告。一般来说，NameNode不直接对DataNode进行RPC（后面的文章会介绍）调用，如果一个NameNode需要与DataNode进行通信，唯一的方式，就是通过调用该协议接口定义的方法。 -
NameNodeProtocol接口
该协议接口定义了备用NameNode（Secondary NameNode）（注意，他不是NameNode的备份）
最低0.47元/天 解锁文章
扫一扫
644
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
