17、构建流式数据系统：从基础到实践

构建流式数据系统：从基础到实践

1. 处理支付事件与数据存储

在处理支付事件时，需要遵循一系列步骤以确保数据的正确处理和存储。当支付系统处理完请求后，我们可以安全地从后备存储中删除在步骤 1 中收到的版税事件。具体操作如下：
- 移除事件 ：确认支付系统已处理请求后，从后备存储删除版税事件。
- 从 RocksDB 移除 ：从 RocksDB 中移除步骤 1 收到的版税事件。
- 确认事件 ：完成事件处理后，向流式 API 确认消息。若流式 API 不支持确认，需通过其他方式告知其消息处理完成，避免再次发送。为防止重复处理支付请求，可在步骤 7 发送支付请求前添加检查。

为避免数据丢失，在接收数据时应尽快将其写入持久存储。若存储 RocksDB 的磁盘丢失，数据将丢失。可采取以下两种方法处理：
- RAID 配置 ：使用 RAID 配置实现存储冗余。
- 分布式存储 ：选择分布式存储，但需确保数据接收和存储，增加了复杂性。若其他团队构建的流式管道可获取历史数据，可考虑将部分数据丢失风险交给他人，但需谨慎决策。

2. 引入 Web 客户端

Web 客户端作为流式客户端，主要用于显示流的结果，无需过多考虑与第三方 API 交互的细节。虽然构建处理数据的客户端行业发展迅速，但使用浏览器显示流式应用结果仍是实用工具，能帮助人们理解业务。例如，有两个客户使用基于浏览器的仪表盘，一是能了解网站使用情况和业务状况，二是新闻编辑可实时查