31、Spotify 事件交付系统：设计、运营与优化

Spotify 事件交付系统：设计、运营与优化

1. 事件交付系统概述

产生的事件包括已交付的事件和当前正在事件交付系统中流动的事件。小时桶（Hourly buckets）是数据作业与事件交付系统的唯一接口，因此，我们基于每种事件类型的小时桶交付情况来衡量事件交付系统的性能并定义服务级别目标（SLO）。

小时桶存储在 Google Cloud Storage（GCS）上。在设计过程早期，我们决定将系统内的数据收集与数据交付解耦。为此，我们使用了全球分布式的持久队列 Google Cloud Pub/Sub 作为中间层。解耦后，数据收集和交付成为独立的故障域，这限制了任何生产问题的影响，使系统更具弹性。

2. 事件交付系统设计与架构

2.1 数据收集

产生的事件按事件类型分组，每个事件类型描述了 Spotify 应用程序中的用户操作。为确保不同事件类型互不影响，系统具备完整的事件类型隔离。不同事件类型的单个事件会发布到 Google Cloud Pub/Sub 中分配的主题。发布操作由运行在 Spotify 数据中心和 Google Compute Engine（GCE）上的微服务执行。每个发布的事件流由专用的 ETL 进程实例处理。

2.2 ETL 过程

ETL 过程负责将发布的事件交付到 GCS 上正确的小时桶中，它包含三个步骤/组件：
1. 专用微服务从事件流中消费事件。
2. 另一个微服务将事件分配到其小时分区。
3. 在 Dataproc 上运行的批量数据作业对小时分区中的事件进行去重，并将其持久化到 GCS 上的最终位置。

每个