kafka
IWBS
活得跟狗一样
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka常见问题解决思路
一个从kafka集成消费记录的客户端。 KafkaConsumer透明处理的Kafka brokers的错误 ,并且自适配Topic-Partition在集成中的迁移。KafkaConsumer使用consumer group去平衡消费。 KafkaConsumer维持必要的TCP连接从borkers获取数据,关闭失败会导致连接泄露。注意:KafkaConsumer不是线程安全的。 <...原创 2020-03-29 13:24:38 · 544 阅读 · 0 评论 -
Kafka consumer group balance原理及源码解读(range/round robin/sticky)
目录 序言 Range 算法 示例 Round Robin 算法 核心源码 示例 Sticky 数据结构&算法 数据结构 算法 示例 核心方法 代码步骤 平衡判断 序言 kafka在0.11版本后提供了Range、Round Robin、Sticky三种consumer group partition分配策略,其中Range、Round Robin...原创 2020-01-20 01:20:55 · 1478 阅读 · 1 评论 -
kafka 事务
目录 概述 幂等 事务 2PC协议 代码示例 事务流程 事务状态 Server侧状态 LSO 概述 kafka从0.11版本开始支持exactly-once语义。从此,流式处理框架数据准确性语义at-most-once、at-least-once、exactly-once全部支持。exactly-once语义的支持复杂度是最高的,单纯从语义角度上可理解为exactly...原创 2019-12-10 17:47:34 · 1111 阅读 · 2 评论
分享