
kafka
IWBS
活得跟狗一样
展开
-
Kafka常见问题解决思路
一个从kafka集成消费记录的客户端。KafkaConsumer透明处理的Kafka brokers的错误 ,并且自适配Topic-Partition在集成中的迁移。KafkaConsumer使用consumer group去平衡消费。KafkaConsumer维持必要的TCP连接从borkers获取数据,关闭失败会导致连接泄露。注意:KafkaConsumer不是线程安全的。<...原创 2020-03-29 13:24:38 · 503 阅读 · 0 评论 -
Kafka consumer group balance原理及源码解读(range/round robin/sticky)
目录序言Range算法示例Round Robin算法核心源码示例Sticky数据结构&算法数据结构算法示例核心方法代码步骤平衡判断序言kafka在0.11版本后提供了Range、Round Robin、Sticky三种consumer group partition分配策略,其中Range、Round Robin...原创 2020-01-20 01:20:55 · 1381 阅读 · 1 评论 -
kafka 事务
目录概述幂等事务2PC协议代码示例事务流程事务状态Server侧状态LSO概述kafka从0.11版本开始支持exactly-once语义。从此,流式处理框架数据准确性语义at-most-once、at-least-once、exactly-once全部支持。exactly-once语义的支持复杂度是最高的,单纯从语义角度上可理解为exactly...原创 2019-12-10 17:47:34 · 944 阅读 · 2 评论