Eternally123的博客

文章目录摘要1、介绍2、编程模型2.1 示例3、实现3.1 执行概括3.2 master的数据结构3.3 容错3.3.1 worker故障3.3.2 master失败3.3.3 失效方面的处理机制3.4 存储位置3.5 任务粒度3.6 备用任务4、技巧4.1 分区函数设计4.2 顺序保证4.3 combiner函数4.4输入和输出的类型4.5 副作用4.6 跳过损坏的记录4.7 本地执行版本4.8...

文章目录 1、一致性模型中的几种状态详述 一致性背景影响一致性的操作负载情况GFS一致性元数据的一致性修改元数据+无并发修改元数据+并发一个文件块（chunk）的一致性写一个chunk+无并发写一个chunk+并发追加数据+无并发追加数据+并发 1、一致性模型中的几种状态详述 最近读了GFS的论文，整理了一下其中涉及的一致性，总结在这里。一致性背景分布式存储系统中，不管是文件系统还是数据库...

google file system1、假设组件失效被认为是常态事件，而不是意外事件。以通常的标准来衡量的话，要存储的文件是巨大的。GB的文件非常普遍。绝大部分文件的修改是采用在文件尾部追加数据而不是覆盖原有数据的方式。应用程序和文件系统API的协同设计提高了整个系统的灵活性。2、设计概述2.1 设计预期系统会存储一定数量的大文件，可能由几百万文件。文件的大小通常在100...