摘要:
目前大规模分布式存储系统面临着成百上千机器带来的PB级数据量。
这样系统要能够均匀分布数据和工作负载,从而有效的利用资源发挥系统的最大性能,同时能够处理系统不断增长以及管理硬件故障。我们开发的Crush,是一种为对象分布式存储系统设计的大规模伪随机数据分布函数,它能有效将数据对象映射到存储对象而不需要依赖中心目录。因为大型系统一般都是动态,crush能够保证添加删除存储设备而保证最小数据移动。该算法可以适应各种各样的数据复制和可靠性机制和分发数据的用户定义的策略,实施跨失败域分离副本。
目前大规模分布式存储系统面临着成百上千机器带来的PB级数据量。
这样系统要能够均匀分布数据和工作负载,从而有效的利用资源发挥系统的最大性能,同时能够处理系统不断增长以及管理硬件故障。我们开发的Crush,是一种为对象分布式存储系统设计的大规模伪随机数据分布函数,它能有效将数据对象映射到存储对象而不需要依赖中心目录。因为大型系统一般都是动态,crush能够保证添加删除存储设备而保证最小数据移动。该算法可以适应各种各样的数据复制和可靠性机制和分发数据的用户定义的策略,实施跨失败域分离副本。