14、混沌工程实践：LinkedOut与Capital One的经验分享

混沌工程实践：LinkedOut与Capital One的经验分享

1. LinkedOut的快速实验浏览器扩展

在大规模实验方面，基于LiX的方案在针对多用户和大规模实验时表现出色，但缺少在自己浏览器中快速进行故障实验的能力，而无需等待实验变更在生产堆栈中传播。混沌工程很大一部分在于探索，尝试不同故障以了解对系统的影响，而基于A/B测试的解决方案对于这种快速迭代来说过于繁琐。

因此，通过Invocation Context (IC) 添加了另一种将故障注入请求的机制。IC是Rest.li框架中LinkedIn特定的内部组件，允许将键值对传递到请求中，并传播到处理这些请求的所有服务。构建了一个新的中断数据模式，可通过IC传递，使请求立即出现故障。

1.1 浏览器扩展的开发

IC注入机制为通过cookie注入IC中断数据在浏览器中进行快速一次性实验打开了大门。但考虑到没人愿意手动构建符合JSON模式的cookie来运行故障实验，于是开发了一个浏览器扩展。

实验故障的简单流程如下：
1. 点击按钮发现请求中涉及的所有服务。
2. 选择要注入故障的服务。
3. 点击按钮刷新页面并应用注入的故障。

为了发现下游服务，利用了名为Call Tree的内部框架进行请求跟踪。该框架允许工程师在请求中设置分组键作为cookie，将发现的所有下游调用关联起来。浏览器扩展会设置Call Tree分组键cookie刷新页面，发现涉及的下游服务并在UI中显示。

由于请求中可能涉及多个甚至数百个服务，因此添加了搜索框，让用户快速过滤到他们关心的端点/服务。并且由于中断过滤器的粒度，用户可以针对特