8、科技公司的灾难测试：原理、实践与成果

科技公司的灾难测试：原理、实践与成果

在科技领域，系统的可靠性至关重要。为了确保系统在面对各种故障时仍能稳定运行，许多公司采用了灾难测试的方法。本文将介绍两家公司的灾难测试实践，包括Slack的Disasterpiece Theater和Google的DiRT。

1. Slack的Disasterpiece Theater

1.1 应急与总结

当需要干预以恢复服务时，要迅速果断地行动，因为客户依赖着你。在此过程中，要确保记录员记录观察结果，并张贴正在查看的图表截图。当生产环境恢复稳定状态后，在开发环境中宣布练习的同一位置发布恢复正常的通知。

练习结束后，趁着记忆还清晰，要进行总结。总结应包含以下问题的答案：
- 检测时间和恢复时间分别是多少？
- 是否有用户注意到故障？如何得知？怎样才能让用户不注意到？
- 哪些本应由计算机完成的工作却由人工完成了？
- 哪些方面存在盲区？
- 仪表盘和文档中哪些地方存在错误？
- 哪些方面需要更频繁地练习？
- 如果这种情况意外发生，值班工程师需要做什么？

这些问题的答案可以记录在Slack或共享的总结文档中，最近还开始录制练习的音频并进行存档。

练习主持人应根据总结提出结论和建议，以提高系统的可靠性和开发环境的质量。这些建议在练习未按计划进行时尤为重要。

1.2 流程演变

Disasterpiece Theater最初是作为事件响应过程的补充，甚至是练习事件响应的论坛。早期的练习列表包含许多需要人工干预的故障。但一年多后，Slack不再计划需要人工干预的Disaste