适用点:
1 文件比较大,一般为100MB及以上
2 整个系统里文件的数目不超过1000万
3 适合写一次,读多次的方式,文件很少做修改,顶多是append方式
4 适合搜索引擎Build出来的Document 作为存储
5 适合历史归档文件的数据仓库存储
特点:
1: 单个Master, master上只存储文件和chunk的对应关系的meta
2: 每个chunk服务器有自己的meta, 主要是已经存放文件的chunk和每个chunk里的block的chunmks
3: chunk服务器通过heartbeat协议上报chunk信息给master
4: 每个chunk有多份复制,以chunk为基础单位进行复制
大规模文件存储方案
本文介绍了一种适用于大文件(100MB以上)且数量不多于千万级别的存储方案,特别适合用于搜索引擎构建文档及历史归档文件的存储场景。该方案采用单一Master节点管理文件与chunk之间的元数据映射,并通过chunk服务器的heartbeat机制实现chunk信息的更新。

1520

被折叠的 条评论
为什么被折叠?



