super_wj0820的博客

Flink作为新一代的流式计算框架，提供了 exactly-once 语义，但是其仅仅支持Flink内部数据流转的 exactly-once 语义，如需保证整条数据链路（即上下游交互）的完整 exactly-once 语义，需要第三方系统支持或者业务上进行保证 项目背景 广告推送系统需要根据 广告的点击量，对第三方进行收费、抽佣，需要做到 exactly-once 语义。 需解决的问题 Flink...

项目背景 数据交换系统，从 Kafka 中拉取数据（数据按 Id 分组，并在 同一 Partition 中有序排列），系统需要 针对 同一组数据，按序处理。（如 Mysql 的 binlog 日志） 要求尽可能做到 提高 tps 和 吞吐量 设计思路 Kafka Consumer线程 值负责接收数据，不再处理数据和业务逻辑；另起多线程处理 接收到的数据 Kafka Consumer线程 从 对应...