21、轻量级流处理框架与事件驱动微服务集成

轻量级流处理框架与事件驱动微服务集成

状态复制与热副本

热副本是从变更日志中物化的状态存储副本。它为服务该数据的主实例发生故障时提供备用方案，也能用于优雅地缩减有状态应用程序的规模。当一个实例终止且消费组重新平衡时，可以分配分区以利用热副本的状态并继续无中断地处理。不过，热副本会增加磁盘和处理器的使用。

使用热副本还能无缝增加实例数量，避免因在新节点上重新物化状态而导致的处理暂停。目前轻量级框架在扩展实例时通常遵循以下工作流程：
1. 启动新实例。
2. 加入消费组并重新平衡分区所有权。
3. 暂停，直到从变更日志中物化状态（这可能需要一些时间）。
4. 恢复处理。

一种解决方案是在新实例上预先填充状态副本，等待其赶上变更日志的头部，然后重新平衡以分配输入分区的所有权。这种模式可减少因物化变更日志流而导致的停机时间，仅需事件代理提供额外带宽。Kafka Streams目前正在开发此功能。

选择轻量级框架

目前有两种主要的轻量级框架选项，都需要使用Apache Kafka事件代理。这两个框架在其高级API中都提供了无限期保留的物化流，支持主键连接和外键连接等操作，可处理关系数据，无需物化到外部状态存储，从而降低编写基于连接的应用程序的认知负担。

• Apache Kafka Streams ：它是一个功能丰富的流处理库，嵌入在单个应用程序中，输入和输出事件存储在Kafka集群中。它结合了编写和部署标准JVM应用程序的简单性以及与Kafka集群深度集成的强大流处理框架。
• Apache Samz