顶级流媒体服务商 Spotify 2025.04 故障复盘报告，吃他人的堑长自己的智

2025 年 4 月 16 日，Spotify 经历了一次影响全球用户的中断。以下就是发生了什么以及我们将如何解决它。

背景

我们使用 Envoy Proxy 作为我们的网络外围系统。外围是我们的软件接收用户（您！）网络流量的第一部分。然后，它将流量分发到其他服务。我们使用云区域将流量合理地分布在世界各地。

为了增强 Envoy 的功能，我们开发并整合了我们自己的自定义过滤器。一个具体的例子是我们讨论了最近在 EnvoyCon 2025 上详细讨论过的限流过滤器。

发生了什么？

2025 年 4 月 16 日，从 UTC 12:20 到 15:45，我们经历了一次中断，影响了全球大多数用户。在此期间，除了由于时区差异而未受影响的亚太地区外，大部分流量都受到了影响。下面的图表显示了我们外围网络上成功的请求数量，紫色线条代表未受影响的亚太地区。

这次中断的原因是什么？

事发当天，我们更改了 Envoy 过滤器的顺序。这次更改被认为风险较低，因此我们同时将其应用于所有地区。更改顺序触发了其中一个过滤器中的一个错误，进而导致 Envoy 崩溃。与典型的孤立崩溃不同，这次崩溃同时发生在所有 Envoy 实例上。

所有Envoy实例的立即重启，加上客户端应用程序的重试逻辑，给边界带来了前所未有的负载峰值。流量的突然激增随后暴露出一个配置错误。由于