阿里云课程：云计算—分布式文件存储系统及实现

分布式文件存储系统及实现（阿里云课程）

一、大数据对分布式存储的需求：

·存储容量大

·高吞吐量

·提高数据可靠性 8个9

·服务高可用 99.95%

·高效运维

将日常硬件处理作为常态，做成流程化

对于监控、报警等机制也要有非常完善的支持

·低成本

 

二、小概率事件对分布式系统的挑战

单击(桌面)系统：小概率出错

大规模存储：小概率成为常态

小概率事件：

1、磁盘错误

2、Raid卡故障

3、网络故障

4、电源故障

5、数据错误  磁盘、网络、内存

6、系统异常

7、热点

8、软件缺陷

9、误操作

 

三、常见分布式系统

ceph 无中心节点   mons 虽然也是比较重要的节点，但是存储的量比较少。

HDFS Namenode -> Metadata   Datanodes   Client 协议简单、不易出错、数据一致性容易保证  数据可分布在不同的Rack上去

阿里——Pangu系统

高性能设备作缓存，低性能设备作永久存储。

安全访问认证，用户访问时，带着认证信息。

审计，把所有操作存入日志文件中。

 

四、分布式存储设计要点

·读写流程 绕过慢节点、热节点

·Qos:服务质量

·Checksum

·Replication 复制

·Rebalance  重平衡

·Garbage Collection （GC） 垃圾回收

·Erasure Coding