《The Google File System》读后总结

                                           《The Google File System》读后总结
  GFS: Google File system―即为可伸缩的分布式文件系统。对比传统存储系统,首先,组件故障是常态而不是特例。其次,按照传统文件存储标准,文件量是巨大的,多GB甚至TB文件是常见的。第三,大多数文件是通过附加新数据而不是覆盖现有数据而发生变异的。第四,通过增加灵活性,共同设计应用程序和文件系统API,使整个系统受益。
   虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。
   GFS主要由以下三个系统模块组成: Master: 管理元数据、整体协调系统活动ChunkServer:存储维护数据块(Chunk) ,读写文件数据。选择64MB作为chunk的大小,该尺寸远大于一般系统的Block size。这是由具体的业务特性决定的:即通常操作的是大文件。Client向Master请求元数据,并根据元数据访问对应 ChunkServer的Chunk。
   该功能的设计特点点包括:一, 假设(1) 这个系统是由许多廉价的设备构建的; (2)系统存储了少量的大型文件; (3) 工作负载主要由两种读取组成; (4) 工作负载有很多大,(5)系统必须有效地为多个同时附加到同一-文件的客户端实现定义良好的语义,高接收带宽比低延迟更重要。二, 界面创建。 删除,打开,关闭,读,写快照,记录附加。三,GFS集群由-一个主服务器和多个集群服务器组成,由多个客户端访问。四,有一个主,简化了设计。我们尽量减少它在读写中的参与,这样就不会成为瓶颈。 
   总之,GFS是为Google应用程序本身而设计的。据称,Google已经部署了许多GFS集群。有的集群拥有超过1000个存储节点,超过300T的硬盘空间,被不同机器上的数百个客户端连续不断地频繁访问着。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值