Moreframe streaming server 构架 (3)

应该说分布式的文件系统种类繁多, 但是各有其利弊, 对特定的业务和需求, 我认为专用的FS可以发挥其最好的性能. 如前面提到, 用少于5000元的cpu板, 再加上单板上绑定5000元的storage. 用这样的单板来构建一个可以提供流和存储的cluster. 尽管有很高的成本优势, 但从FS的设计和实现角度来看, 会有什么问题呢?

1. Fault tolerance. 物理部件的故障不可避免, 比如, cpu板, disk, 电源, 甚至交换机.

2. 数据一致性. 物理部件的不可靠, 会直接导致数据不一致性的出现, 这其中也会导致FS业务的不一致性.

3. 性能. 应该说, 第一,二点能满足后, 性能问题就上来了. 所以, 把他放在第三位.

4. 可扩充性. 如何让系统具备良好的扩充能力, 是做cluster必需考虑的.

 

总结一下, 可概括为4个方面: 可靠性, 可用性, 性能和扩充性.

 

以下为引用方便, MFS即指Moreframe file system. 从构架设计的角度, MFS包括以下特征:

 

1. 一个业务主控单元(SM - Service Master), 多个流业务单元(SSU - Stream Service Unit)的集合. 每一个单元模块(unit)都运行在之前所介绍的单板上面.

2. 文件由若干chunk块构成, 每块chunk在创建时, 由SM分配一个64bit ID. 根据chunk自身的复制级别, 每块chunk有多份复制分布在不同的SSU上. 缺省为3份. 每块chunk都有checksuming, 以便进行完整性检查和错误恢复.

3. SM负责FS元数据管理, 包括命名空间, 存取访问控制, 文件与块之间的映射, 块位置信息(其只存在于memory中). 元数据的更改记录以operation log的方式来管理.

4. SM负责域内cache资源的统一调度和管理.

5. SM负责域内SSU集群管理, 包括单板状态, 存储资源分配, 流资源分配, 负载平衡, 空间清理/释放, 文件冗余/迁移.

6. 媒体流的读写, 只发生在SSU和客户端之间, SM只负责处理与此相关的信令业务(比如第5点里提到的).

 

 

(此文仅限业内交流，请勿转载)