23、分布式追踪在性能恢复中的应用与分析

分布式追踪在性能恢复中的应用与分析

1. 混沌工程与追踪的结合

混沌工程是一种将故障故意注入分布式系统的实践，目的是了解软件及其团队对故障的响应方式。虽然它并非严格意义上的事件响应或恢复基线性能的一部分，但能帮助我们为实际问题的发生做好准备。分布式追踪可以为解决通过这种技术发现的问题提供必要的数据。

在混沌工程中引入的故障应足够罕见，以免影响用户可见的性能。然而，这也意味着使用统一采样技术不太可能收集到注入故障的请求。为了解决这个问题，可以像处理新版本发布和其他计划变更一样，在跨度（span）中添加标签来表明故障是故意注入的，确保收集到用于分析的追踪数据。

追踪还能帮助识别注入的故障何时影响到了用户。通过查找既包含注入故障的跨度又包含带有错误的根跨度的追踪，可以发现传播到堆栈顶部的注入故障。一旦出现这种情况，可以立即提醒团队成员，甚至禁用该类型的注入故障。

2. 实时响应

与有充足时间仔细收集数据以支持决策的计划性能改进工作不同，在响应事件时，很难预测需要哪些数据，也没有足够的时间来收集。分布式追踪工具可以提供实时搜索功能，帮助我们快速了解正在发生的情况。

以Zipkin的追踪搜索功能为例，我们可以使用该功能查找包含特定服务、延迟超过给定阈值、包含特定标签或其他元数据的追踪。通过多次搜索，我们可以找到慢速或失败请求的追踪示例，并在开始构建问题理论时，查找可能有助于解释问题的其他特征的追踪。例如，如果怀疑金丝雀发布导致了性能回归，搜索由该金丝雀处理的追踪就是一个很好的起点。

分布式追踪工具的实时搜索功能与许多日志聚合工具类似，都能对大量诊断数据进行临时搜索。但在大多数情况下，提供问题证据的日志很少能