StarGFS支持海量影像档案存储和保护

一、档案业务应用特征

建设服务主导型的数字档案管理，即“文件形成电子化，传播档案信息网络化，在线编研系统化，档案利用超市化，馆藏档案数字化，来馆利用趋零化”等一系列新理念和新设想，利用高科技手段塑造档案管理的新形象，努力打破过去对档案管理陈旧保守的错误观念。

数字化档案管理系统的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案管理系统的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程，将不同介质、不同类别相互独立的档案信息整合成统一的资源库，并确定其相互关联关系，增加了档案管理工作的科技含量，为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段，充分发挥档案信息的经济价值和社会价值。

数字化档案管理通常以机房为中心，各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中，内部主要包括：

• 档案收集：收集各种具有保存价值的文件、声像材料，各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理，并汇总到统一存储系统。

• 档案整理：主要包括分类、组卷、目录编制等工作，然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。

• 档案管理：利用各操作终端在专用的管理系统上对档案即时编辑管理。

• 档案利用：通过内部共享或WEB发布。

• 容灾备份：强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。

二、存储需求特点

• 1，需要存储能够支持文件全局共享：让档案的收集、整理、管理、利用等过程都有能够无缝衔接，所有业务服务器能够直接按需共享访问对应的档案文件，确保管理流程中相关档案文件不需要拷贝或者传输就能够进行无缝的访问管理。整个工作流程中的各阶段流程能够顺畅的进行，从而提高整体业务的运转效率。

• 2，需要存储提供较高的性能：从档案管理的业务发展方向来看，档案管理向着内容服务转变，档案文件的存储平台将会面临更多可能的访问和调用。为了能够更好的支持快速对海量的档案文件内容进行相关的编辑、管理和检索，充分利用档案的深入价值，就必须能够在海量的内容中快速的检索到需要的数据，这就要求存储系统必须具备较高的性能。如果存储系统的数据读写速度达不到需要的性能，那么档案信息平台将很难作为一个服务性的平台为更多的人和机构提供服务。

• 3，按需建设，在线扩展的大容量存储系统：由于档案内容的清晰度越来越高，文件越来越大，以及需要保存的档案项目也不断增多，导致整体的档案数据量非常大。如果不能将海量的档案数据进行较好的统一存储和管理，并且不能按需在线扩展施工，数据就被分散的存储到多个独立的存储系统内，导致后期信息平台管理过程浪费大量人力物力，也影响项目的进程。

• 4，需要高效支持海量小文件：在档案的信息化流程中，海量的档案图片文件将会给存储系统带来巨大的压力。传统存储在这种大小文件混杂的情况下，访问性能会急剧降低，导致整个档案信息化平台运转效率低下，难以提供检索访问服务。

• 5，需要更高的数据安全性：传统的存储只能提供硬盘级的安全性保护，像RAID5同一时间最多只能允许一块硬盘出现损坏，RAID6同一时间只允许损坏两块硬盘，但是当总数据量达到数十、上百TB，使用大容量硬盘导致RAID重建的时间远远超过8个小时，硬盘连续出现故障的频率会更高，容易出现整个盘阵数据丢失的情况。

• 6，方便快捷的备份系统：由于原始档案长期保存和其原始记录的特性，需要定期对档案进行备份，避免数据丢失，以保证档案数据的完整性和安全性。

• 7，需要遵从法律法规：电子档案的存储和管理，需要符合相关法律法规要求，实现长期安全的保存，并且需要能够防止各种可能导致档案文件被破坏的事故。那么就要求存储系统自身具备良好的档案文件长期保存和管理的能力。

三、StarGFS解决档案数据存储痛点

StarGFS是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。StarGFS采用集群架构设置，系统支持无上限的扩展，理论上能扩展到EB级别，单一集群承载上万台服务器。整个系统能提供上百GB/s的吞吐带宽。

StarGFS并行文件系统主要由元数据集群、存储服务器集群、备份服务器集群三大部分组成。元数据服务器集群管理文件系统的元数据，管理整个存储系统的命名空间，对外提供单一的系统映像。存储服务器集群存储用户的实际数据，是整个StarGFS存储系统的存储资源提供者。

备份服务器集群通过FC网络将整个存储系统中的数据备份到磁盘库中，或者使用星实StarDM同步备份系统将数据全量、增量的同步备份到StarNAS大容量存储系统中，实现数据的备份保护。

StarGFS满足影像档案数据的存储需求：

1，在线横向扩展：StarGFS并行文件系统可以支持动态的扩展存储容量，而无需中断应用的运行。用户可以通过StarGFS的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着存储服务器数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断发展所产生的容量和性能需求。工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，StarGFS支持在1小时内无缝的在线增加上百TB存储容量，确保业务系统的连续性。

2，数据保护：StarGFS通过纠删码和副本进行数据冗余保护，避免了传统存储采用的硬件RAID卡带来的数据恢复速度过慢和性能瓶颈。StarGFS的纠删码提供N+M（N=2、4、8、16，M=1-4）,最大能支持4节点同时故障，数据正常访问。

3，海量文件/对象存储：StarGFS通过分布式架构解决了存储系统容量限制的问题，并且通过在线可扩展的元数据集群和存储集群解决海量数据的存储。整个系统无文件数量限制，单个文件大小也不限制。StarGFS针对小文件的Container存储技术能够实现小文件存储和大文件同样的存储和管理方式，能够极大的简化小文件存储并提高小文件存储和访问效率到十倍以上，切实满足海量非结构化数据的存储需求。同时，StarGFS还同时支持提供S3对象存储协议，能够按需提供对象、文件等访问协议，并且还支持同一个文件能够按需通过对象或者文件访问来增加业务使用的灵活性。

4，可视化监控和管理：提供基于 WebUI 的图形化管理界面，可在图形化界面对存储系统进行管理和监控，提供丰富的系统性能、空间使用情况的图表展现能力

5，应用接口：存储管理平台提供StarGFS、NFS、CIFS、FTP等文件系统接口，也支持基于 HTTP（RESTful API）的应用接入接口，如业界广泛使用的S3、Swift协议。满足不同应用接口访问的需求。

6，存储高级功能：StarGFS除了上述的功能还支持WORM、无限快照和克隆、在线升级、QOS、SSD缓存等存储高级功能。