
kafka
木子林_
博客是用来做笔记的
展开
-
Kafka分区分配策略(2)——RoundRobinAssignor和StickyAssignor
RoundRobinAssignor分配策略RoundRobinAssignor策略的原理是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序,然后通过轮询方式逐个将分区以此分配给每个消费者。RoundRobinAssignor策略对应的partition.assignment.strategy参数值为:org.apache.kafka.clients....转载 2020-01-14 21:33:40 · 1242 阅读 · 0 评论 -
Kafka分区分配策略(1)——RangeAssignor
引言按照Kafka默认的消费逻辑设定,一个分区只能被同一个消费组(ConsumerGroup)内的一个消费者消费。假设目前某消费组内只有一个消费者C0,订阅了一个topic,这个topic包含7个分区,也就是说这个消费者C0订阅了7个分区,参考下图(1)。此时消费组内又加入了一个新的消费者C1,按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费,情形上图(2),消费者C0...转载 2020-01-14 21:33:05 · 1441 阅读 · 0 评论 -
kafka学习笔记之二-文件存储
1-kafka配置文件简述在开始了解文件存储前,我们先简单了解server.properties一些基本配置,在kafka默认配置中数据默认保存7天,每一个segment文件最大大小为1G,当大于1G时创建一个新的segment文件socket请求也不是无限大,这样可以防止跑光了内存。具体可以见如下图:kafka数据配置信息图:注意:在kafka中log不是kafka的日志文件...原创 2020-01-11 13:03:09 · 1335 阅读 · 0 评论 -
kafka学习笔记之一-入门
1-docker安装kafka: 安装可以去这个链接docker安装部署kafka2-了解下消息队列(Message Queue): 2.1 消息队列模式: 点对点:消息生产者生产消息发送到队列(queue)中,然后消息消费者主动从队列中取出并且消费消息。消息被消费之 ...原创 2020-01-09 22:22:08 · 1171 阅读 · 0 评论