16、数据架构：流式处理与架构组合的深度解析

数据架构：流式处理与架构组合的深度解析

1. 流式平台作为应用后端的考量

1.1 可行性与风险

理论上，中央流式平台可以用作应用后端，例如 Kafka 可作为应用数据存储。但不建议将中央平台用作应用后端，原因如下：
- 异步特性与数据保留问题 ：流式处理本质上是异步的。对于无延迟要求的应用，虽可通过移除保留期解决数据丢失问题，但仍需处理此情况。
- 应用与企业数据分发的耦合 ：应用与企业数据分发目的不同，不应混合治理。

1.2 应对策略

若使用流式平台作为后端，需明确治理策略：
- 明确各领域模式范围 ：为每个领域清晰界定使用模式。
- 为特定领域搭建额外平台 ：避免创建集成数据库带来的风险。

1.3 派生流的处理原则

对于从其他流派生的流，应避免直接被其他消费者消费，可让消费者先将事件摄入应用，再重新摄入流式平台。

2. 流式作为运营骨干

2.1 流式的作用

流式数据是解决事务和分析系统紧密协作问题的方案，可连接无法高效处理流的系统与先进分析技术。

2.2 扩展运营系统的示例

• 添加内存系统 ：通过添加内存系统跟踪历史数据，流式平台可协调运营系统、内存系统和分析引擎。
• 实时决策逻辑 ：如客户购买新产