22、混沌工程的投资回报率与开放实践

混沌工程的投资回报率与开放实践

一、混沌工程投资回报率评估

1.1 柯克帕特里克模型评估

柯克帕特里克模型提供了四个层次来评估混沌工程计划的有效性，从第1级到第4级，能逐步建立更有力的投资回报率（ROI）证据，但执行难度也逐渐增加。具体如下：
| 级别 | 描述 | 评估方式示例 |
| ---- | ---- | ---- |
| 第1级 | 反应层面，了解参与者对活动的感受 | 向游戏日参与者发送问卷，询问是否从体验中受益 |
| 第2级 | 学习层面，证明参与者获得了知识或技能 | 如Netflix的ChAP应用，通过验证假设获取系统学习成果 |
| 第3级 | 行为层面，观察参与者行为是否改变 | 需记录工程师因发现漏洞而产生的行为变化 |
| 第4级 | 结果层面，将特定效果与业务成果关联 | 确定混沌工程计划是否带来停机时间减少、安全事件减少等业务成果 |

第4级是最难确定的，因为业务成果受众多因素影响，很难将特定效果与业务结果直接关联。但如果能证明停机时间减少、安全事件减少或系统性能下降情况改善与混沌工程计划的实施相关，就可以建立业务案例，只需比较计划成本和成果价值即可。

1.2 Netflix的ChAP应用案例

Netflix的ChAP应用是一个大型投资项目，需要证明其ROI。由于Netflix同时进行多项提高可用性的工作，因此需要将ChAP的贡献从其他工作中分离出来。
- 假设验证 ：ChAP生成类似“在条件X下，客户仍能有良好体验”的假设，并尝试反驳这些假设。大多数假设无法被反驳，增强了对系统的信心；偶尔有