在信息社会中,智能手机、平板电脑、笔记本电脑等多种终端设备已成为人们生活的一部分,为了使自己的电子产品能够及时同步,用户常常面临一个头疼的问题,即如何便捷地将文件、照片、文档、音乐、电子书等数据在手机、平板电脑、个人电脑等设备之间互相共享。在科技不断进步发展的过程中,涌现出各式各样的文件共享系统。
在构建全局分布式文件系统方面已经有许多尝试,且有些系统可以看到显著的效果。在学术尝试中,AFS已取得了成功且至今仍在使用,而其他一些系统却还未取得同样的成功。学术界之外,最成功的系统一直是对等文件共享的应用,其主要面向大型媒体(音频和视频)。最值得注意的是,Napster,KaZaA和BitTorrent[3]部署大型文件分发系统支持超过一亿用户同时使用。即使在今天,BitTorrent保持了大规模部署中数以千万计的节点生产日报[4]。相比于他们的学术文件系统而言,这些应用程序看到了更大数量的用户和文件分布。然而,应用程序并没有设计成基础性使用工具。虽然可成功的利用现有技术再开发,但目前还未出现一个可以提供全球性、低延迟性和分散式分布的通用文件系统。
到目前为止,HTTP是有史以来最成功的“文件分布式系统”部署。再加上浏览器,HTTP有巨大的技术和社会影响力。它已成为在互联网上传输文件的实际方式。然而, 在过去的十五年里,它未能利用许多杰出的文件分布技术发明。各行业之所以使用HTTP这么久是因为移动小文件是相对便宜的,即使对于小型组织也有大量的流量可以使用。但是,我们正面临一个新的挑战,数据分布的新时代具有如下特点:
(1) 托管和分发PB级数据集;
(2) 在大数据跨组织的计算;
(3) 大容量高清点