GFS & HDFS

最新推荐文章于 2022-12-13 10:00:42 发布

k2z

最新推荐文章于 2022-12-13 10:00:42 发布

阅读量621

点赞数

文章标签： gfs hdfs 分布式

本文链接：https://blog.youkuaiyun.com/wd3cwg38/article/details/105507639

版权

本文深入探讨了Google的GFS和Hadoop的HDFS分布式文件系统。GFS采用64MB块大小，其Master节点管理元数据并使用轮询策略分配Chunk副本。写入过程中，数据直接推送到Chunk服务器。而HDFS的块大小为128MB，NameNode类似GFS Master，DataNode对应ChunkServer。HDFS在写操作上更严格，同一时间仅允许一个Client写入。此外，两者都遵循最终一致性原则，确保数据的短暂不一致最终会达到一致状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文对GFS&HDFS进行简要整理

GFS

GFS参考网址

GFS架构
GFS Master
// 管理所有的文件元数据（存在于Memory中)
// 对Chunk创建及管理：
· 文件和Chunk命令空间（log持久化）
· 文件和Chunk对应关系（log持久化）
· 每个Chunk副本存放位置（轮询）
GFS chunkserver
· 存储Chunk的实际位置信息
· Chunk以Linux文件形式存储在本地磁盘
写入流程

· Client的数据沿着精心选择的Chunk服务器链推送