StarGFS海量小文件的高性能存储和保护方案

一、小文件场景和挑战

1.1 小文件的场景

当今各行各业每天都有海量的数据产生。据IDC预测达到2025年，全球将总共产生175ZB文件。接下去5年时间内产生的数据量将会比过去几十年人类产生数据量总和还多。

这些数据中大部分都将是非结构化数据，其中图片这种偏小的文件有很大一部分。海量小文件是存储界的难题，通常小文件是指大小在1MB以下的文件，百万以上我们称为海量。

典型的海量小文件应用场景有：

1） 人工智能；

2） 档案影像、金融影像；

3） 医疗影像；

4） 互联网UGC图片以及短视频等；

5） 影视渲染制作；

1.2 小文件的存储和管理挑战

由于传统的存储系统设计和开发都面向了相对偏大的文件存储优化，而当前信息化发展趋势来看却不断产生海量的小文件特征的数据，而小文件就给存储系统带来了海量的元数据信息、复杂的目录结构、频繁的大目录中进行文件检索操作、小文件存储之间迁移复制等诸多的现象和需求。

上述的种种现象和需求都会在传统存储系统上爆发出严重的问题，主要是：

u  管理难：海量小文件的存储需要制定比大文件更加性能优化存储方式；