六 skylable进阶

上一篇给大家介绍了skylable的客户端操作，本文将讲述两个细节点：

一.skylable的数据存储策略

二.全局对象

三.作业

一：skylable的数据存储策略

skylable里的文件被切分为等值的块来存储，每个文件存储的块值依赖于文件的大小，类似Hadoop、spark里的块值，文件被分块之后采用一致性哈希算法进行数据块部署，一方面保证了数据的负载均衡，另一方面在从cluster里添加或者删除node时只需要复制最小量的数据就行了。

cluster暴露了基于去重复制存储的REST风格API，相同数据的块只会存储一块。优点是助于减少带宽，支持了断点技术，数据的不变性，但是元数据是可变的。下面举个例子：见下图

上图中的文件被分成了10块，有3块数据相同，上传文件时只需要上传8块就行。想要支持批量的上传和下载模式就会出现有的node会存储至少一块数据。

上图中的数据只是存储了1份，为了容错应该存储多份。最大的副本数量为node的数量。多份副本存储增加了下载的实用性，但是牺牲了上传性能，多份副本必须都上传成功才能保证这个实用性。多份副本存储见下图：

上图中的副本数目为3，skylable采用了异步保存副本的策略，即一个node获得了一个副本，那么另一个目标node不必等到原目标node上传完成就可以复制。

二：全局对象

skylable里的user、volume、privilege是全局存储的，对于cluster里的每个node都是知道的。改变它们需要所有node协同工作和感知。见图：

user：每个user都会有一个Token,所有的需求都需要进行HMAC签名和Token验证才能完成。

admin user：超级管理员，拥有volume和user的增删权利。

volumes：用于组织属于某个具体用户的一些文件。每个volume都有一个副本数量和相关元数据。

volume ACL：volume的owner默认有授予和收回其他用户对volume的操作的权利。当然超级管理员也是可以的。

三：作业

对于某些多副本上传操作可能花费很长时间。为了避免阻塞其他操作，所有的任务可以创建成一个job在后台运行，客户端负责拉取job的输出结果而不是等到上传操作完成才能干其他事情。类似于多线程操作。作业还有一个冲突策略：创建两个具有相同名称的用户时，cluster只会保证有一个创建成功，而另一个作业就会被强制终止。