云平台存储应急演练中的常见问题

常见问题分析

相比于传统存储较为成熟的应急预案、流程，针对云平台存储的应急演练进行测试和评估，则可发现大多存在如下问题：

1. 缺乏针对云平台存储的演练标准体系

基于云平台存储的业务平台，采用分布式计算机存储系统，天然形成了数据冗余存储、具有自动恢复机制，提高了存储数据抵抗外界诸如硬件故障、单台存储设备故障等不可抗风险。因此，在构建基于云架构的演练标准体系方面，缺乏了应有的关注。

云平台存储的演练体系应至少应包括：

1）明确云平台存储突发事件应急各环节中的角色和责任，提高云平台存储各项响应和操作能力; 对存储的运维也从硬件层面转变为对应用和微服务的支撑。

2）构建云平台存储应急演练手段技术体系，利用真实可模拟的微服务存储故障等突发事件应急环境，增强参演人员的心适应能力和调整能力。

3) 明确云平台存储在应急演练各环节关键的功能要素，包括SSD云盘的IOPS、吞吐量和访问时延。并据此从定性和量化两个方面构建科学的演练效果评估指标体系;

分布式云存储日益复杂，业内普遍缺乏以云原生视角去扩展演练领域的思路，传统架构中不存在的不确定因素。比如，机器高负载、网络异常、磁盘 IO、节点调度等故障，以及云平台自身的资源、应用服务、容器以及基础设施各环节导致的问题。

以云原生视角拓宽演练领域至少应该包括如下颗粒度。

其中，以下几项尤为重要：

1）评估IaaS层、PaaS层是否健壮

模拟云存储不可用，验证系统的容错能力、测试调度任务是否自动迁移到可用节点。

2）衡量容器及微服务的容错能力

查看发生故障的节点或实例是否被自动隔离、下线，流量调度是否正确，预案是否有效，同时观察系统整体的QPS或RT是否受影响。

3）验证容器编排配置是否合理

模拟杀服务Pod、杀节点、增大Pod资源负载，观察系统服务可用性，验证副本配置、资源限制配置以及Pod下部署的容器是否合理。

4）验证监控告警的时效性

对系统注入故障，验证监控指标是否准确，监控维度是否完善，告警阈值是否合理，告警是否快速，告警接收人是否正确，通知渠道是否可用等，提升监控告警的准确和时效性。

云存储应急预案场景

针对不同类型的云存储类型及故障场景建立不同的应急预案

场景一：块存储集群中，单台设备故障无法正常使用

使用技术：备份一体机 DP 进行恢复

RPO =1Day （可恢复 1 天前的备份副本）；RTO = 2-3Hour（200G 数据需恢复需10Min）。

业务恢复步骤：选择存储卷及备份副本，完成云存储及业务恢复。

场景二：文件存储中的部分非结构化数据被误删除或丢失

使用技术：备份一体机 DP 进行恢复

RPO =1Day （可恢复 1 天前的文件）；RTO = 30Min-2Hour（200G 数据需恢复需10Min）。

业务恢复步骤：选择虚拟机及备份副本，确认丢失文件的路径，选择恢复的目标，完成丢失文件的恢复。

场景三：对象存储损坏或丢失

使用技术：备份一体机 DP 进行恢复

RPO =1Day （可恢复 1 天前的文件）；RTO = 30Min-2Hour（200G 数据需恢复需10Min）。

业务恢复步骤：选择数据库副本文件进行数据恢复，恢复后确保数据完整性及数据库可用性。

场景四：核心业务系统发生宕机无法快速恢复

使用技术：通过 RP 技术进行恢复

RPO = 30sec ；RTO = 5min。

业务恢复步骤：选择相应的时间点，进行容灾切换，将备机直接开启，并确认业务是否可以使用