- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop-HDFS RBF
在前文中提到，HDFS 联邦架构使得HDFS 的NameNode 具有可伸缩性，针对多个NameNode，用户该如何去使用这些NameNode 呢？常见的解决方案是针对联邦中的HDFS 子集群提供 联合视图 ViewFs。
2023-04-14 17:48:26
1301
1
原创 Hadoop-HDFS联邦
在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。
2023-04-13 20:49:57
639
1
原创 hadoop源码解析-HDFS通讯协议(下- DataNodeProtocol、InterDatanodeProtocol、NamenodeProtocol和流式接口)
远端的 Receiver接受到请求，会反序列化请求，然后调用代码执行读取操作。DataNode 在注册成功后，会将自己所有的块信息上报，方法含有3个参数，包含一个DataNode 标识，块池ID 和数据块列表，NameNode接受到消息时，会将上报的块信息与DataNode建立其对应的关联关系，同时在响应结果中携带相关指令，通知节点进行重新注册、发送心跳、备份或者删除DataNode 本地磁盘上的数据块，块上报在启动就会执行一次，后续会按照参数，按照一定的时间间隔进行数据上报。
2023-04-13 15:19:02
826
2
原创 hadoop源码解析-HDFS通讯协议(上- ClientProtocol 和 ClientDataNodeProtocol)
NameNode 的内存中除了保存文件系统的namespace外，还保存了文件系统中所有的数据块与DataNode节点的对应关系，因此，NameNode 的内存将会成为HDFS的横向扩展的瓶颈，而当数据块过多，也会引起NameNode频繁的GC，影响系统的稳定性。当客户端读取一个HDFS文件时，需要获取这个文件对应的所有数据块的长度，用于简历数据块的输入流，然后进行数据读取，但是NameNode 的元数据中文件最后一个数据块的长度可能与实际的不一致，所以需要调用这个方法获取真实长度。
2023-04-12 17:22:10
2319
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人