22、混沌工程实验：探索系统故障与遥测数据应用

混沌工程实验：探索系统故障与遥测数据应用

1. 引入混沌实验的背景与目的

在系统运行中，为了确保系统的稳定性和可靠性，进行各种故障模拟实验是很有必要的。比如关闭系统的一个可用区或区域，以此来验证负载均衡机制是否正常工作，了解在这种故障情况下生产流量的处理方式。接下来，我们将以杂货店系统为例，引入混沌工程的方法，通过提出假设并进行实验，利用系统产生的遥测数据来验证系统是否按预期运行。

2. 实验一：增加网络延迟

• 延迟的概念与成因
  • 延迟是指发出调用请求到收到响应之间的时间间隔，在分布式系统中，服务之间的调用很容易出现延迟。例如，服务 A 调用远程服务 B，请求总时长为 25 毫秒，但其中大部分时间用于与服务 B 进行数据传输，只有 5 毫秒用于执行代码。
  • 延迟的成因主要有以下几点：
    • 服务所在服务器之间的物理距离：距离越远，光传输所需时间越长，延迟也就越大。
    • 网络繁忙：当网络达到数据传输上限时，可能会对传输的数据进行限流。
    • 连接服务的应用或系统出现问题：如负载均衡器和 DNS 服务等。
• 实验操作
  • 本实验使用 Linux 的 Traffic Control（tc）工具来增加杂货店系统网络接口的延迟。具体命令如下：