分布式存储系统大数据同步方面的两个问题

1、用户A修改了一个文件，上传到了存储系统中，而在另一个用户B的缓存中也有该文件，且该文件很大。如何同步数据？

      客户B需要将自己的缓存分块计算hash值，发给datacenter；datacenter找到相同的块，然后将不同的部分回复给客户端。举例如下：

      http://blog.youkuaiyun.com/russell_tao/article/details/7240661

 

2、存储系统在增加一个文件的时候，若此前已经存在了一个相同或相似的文件，则不需要重复存储，避免冗余。此问题为数据去重。

      不同标准分为两类：暂存用户数据到临时存储区然后异步去重/用户上传时直接去重 和 固定长度分块/不定长度分块。详情请见：

     http://storage.chinabyte.com/158/12490658.shtml

     http://storage.chinabyte.com/177/12496177.shtml