Kafka 实现之分配（Distribution）

原创 已于 2024-05-23 08:12:39 修改 · 1.2k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #消费者offset跟踪 #ZooKeeper目录 #符号 #Broker节点注册 #Broker topic注册 #集群ID

于 2024-03-18 07:30:00 首次发布
本文深入探讨了Kafka的消费者offset跟踪机制，消费者如何与组协调器交互以提交和获取偏移量，并介绍了ZooKeeper在协调消费者和Broker中的角色，包括Broker节点注册、Topic注册及集群ID等。

目录

一. 前言

二. 消费者 offset 跟踪（Consumer Offset Tracking）

三. ZooKeeper 目录（ZooKeeper Directories）

3.1. 符号（Notation）

3.2. Broker Node Registry

3.3. Broker Topic Registry

3.4. 集群 ID（Cluster Id）

3.5. Broker node registration

一. 前言

    Kafka 提供了消费者客户端参数 partition.assignment.strategy 来设置消费者与订阅主题之间的分区分配策略。默认情况下，此参数的值为 org.apache.kafka.clients.consumer.RangeAssignor，即采用 RangeAssignor 分配策略。除此之外，Kafka 还提供了另外两种分配策略：RoundRobinAssignor 和 StickyAssignor。

二. 消费者 offset 跟踪（Consumer Offset Tracking）

原文引用：Kafka consumer tracks the maximum offset it has consumed in each partition and has the capability to commit offsets so that it can resume from those offset

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kafka 基本操作之集群扩容
流华追梦的专栏
03-29 1428
Kafka 集群的服务发现是由 ZooKeeper 实现的，因此 Kafka 集群想添加新的 Broker 就非常容易。我们只需要为新的 Broker 设置一个唯一的 broker.id， 然后启动新增的 Kafka 就行。Kafka 集群会自动发现新增的 Broker 并同步原数据，包括当前集群有哪些 topics 以及 topics 的分区信息等。分区重新分配工具还可以用于选择性地将分区的副本移动到特定的 Broker 集。
大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道
Oak_Komorebi的博客
08-21 2499
一、Kafka和Flume的整合 1.1 部署实施 Flume主要是做日志数据（离线或实时）的采集。 下图显示的是flume采集完毕数据之后，进行的离线处理和实时处理两条业务线，本文将介绍flume和kafka的整合处理。 创建整合的topic # kafka-topics.sh --create \ --topic flume-kafka \ --zookeeper bigdata01:2181/kafka \ --partitions 3 \ --replication-factor 3.
Kafka分区分配策略（1）——RangeAssignor
热门推荐
朱小厮的博客
07-19 2万+
引言 按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图（1）。 此时消费组内又加入了一个新的消费者C1，按照既定的逻辑需要将原来消费者C0的部分分区分配给消费者C1消费，情形上图（2），消费者C0...
Kafka 消费者数据安全（RangeAssignor，RoundRobinAssignor， StickyAssignor分配策略）
XIATWO
12-03 1644
消费者数据安全 说明：所有流程图均来自：Kafka 消费者数据安全策略流程图 一、消费方式 说明 1、Consumer 采用 Pull（拉取）模式从 Broker 中读取数据。 Consumer 采用 Push（推送）模式，Broker 给 Consumer 推送消息的速率是由 Broker 决定的，很难适应消费速率不同的消费者。 它的目标是尽可能以最快速度传递消息，但是这样很容易造成 Consumer 来不及处理消息，典型的表现就是拒绝服务以及网络拥塞 2、而 Pull 模式则可以根据
RabbitMQ消息追踪：分布式系统中的链路追踪实现指南
最新发布
gitblog_00216的博客
11-22 255
在现代分布式系统中，消息队列已成为不可或缺的基础组件，而**消息追踪**和**链路追踪**技术则是确保系统可靠性和可观测性的关键。RabbitMQ作为业界领先的消息中间件，通过其强大的教程库提供了完整的消息追踪解决方案。 ## 什么是消息追踪？ 消息追踪是指在分布式消息系统中跟踪消息从生产到消费的完整路径。当消息在多个服务间流转时，追踪技术能够帮助我们了解消息的状态、位置以及处理情况。🚀
offset
qq_45222993的博客
11-28 201
KAFKA ---分区定位策略
weixin_46867363的博客
04-23 232
org.apache.kafka.clients.consumer.RangeAssignor（默认分区策略）
kafka消费者设置参数
qq_44091527的博客
03-16 4377
fetch.min.bytes 这个参数允许消费者指定从broker读取消息时最小的数据量。当消费者从broker读取消息时，如果数据量小于这个阈值，broker会等待直到有足够的数据，然后才返回给消费者。对于写入量不高的主题来说，这个参数可以减少broker和消费者的压力，因为减少了往返的时间。而对于有大量消费者的主题来说，则可以明显减轻broker压力。 fetch.max.wait.ms 上面的fetch.min.bytes参数指定了消费者读取的最小数据量，而这个参数则指定了消费者读取时最长等待时间，
精选资源
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
08-15
"parcel"是一种软件分发格式，通常在Cloudera CDH（Cloudera Distribution Including Apache Hadoop）中使用，它允许快速部署和管理大数据相关的服务，如Kafka。 Apache Kafka是一款分布式流处理平台，由LinkedIn...
快速了解Kafka
以爱护甲,爱满枫林。
12-24 1264
Apache Kafka最初由LinkedIn开发并于2011年开源。他主要解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。Kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性和容错性等。
kafka教程
qq_35693377的博客
02-11 1530
Topic（主题）是消息的逻辑分类或通道。它是Kafka中用于组织和存储消息的基本单元。一个Topic可以被看作是一个消息发布的地方，生产者将消息发布到一个特定的Topic，而消费者则订阅一个或多个Topic以接收消息。
kafka详细总结
lin777lin的博客
10-14 552
kafka详细总结 message状态 ：在Kafka中，消息的状态被保存在consumer中，broker不会关心哪个消息被消费了被谁消费了，只记录一个offset值（指向partition中下一个要被消费的消息位置），这就意味着如果consumer处理不好的话，broker上的一个消息可能会被消费多次。 message持久化：Kafka中会把消息持久化到本地文件系统中，并且保持o(1)极高的效率。我们众所周知IO读取是非常耗资源的性能也是最慢的，这就是为了数据库的瓶颈经常在IO上，需要换SSD硬
Kafka分区分配策略以及重平衡过程总结
Cc的博客
04-13 2512
1.RangeAssignor分配策略（kafka默认的分区策略） partition.assignment.strategy=org.apache.kafka.clients.consumer.RangeAssignor 按照消费者总数和分区总数进行整除运算来获得一个跨度，然后将分区按照跨度进行平均分配，以保证分区尽可能均匀地分配给所有的消费者。 该策略会将消费者组内所有订阅这个主题的消费者按照名称的字典序排序，然后为每个消费者划分固定的分区范围，如果不够平均分配，那么字典序靠前的会被多分配一个分区. 假
SNAP Pixel Offset Oversampling Parametrization Analysis
欢迎关注，共同进步！
01-16 992
Background Surface velocity remains a key parameter of the ice-sheet dynamics as they represents the direct response of the ice-shelves’ health. The easiest way to obtain bidimensional velocity is by...
sar偏移量追踪技术_滑坡成灾前SAR遥感监测技术研究取得进展
weixin_39519554的博客
01-25 1231
近日，中国科学院空天信息创新研究院航天微波遥感系统部关于滑坡成灾前SAR遥感监测技术研究取得进展。其相关研究成果《面向成灾前形变监测的改进偏移追踪技术：以白格滑坡为例(Improved Offset Tracking for Predisaster Deformation Monitoring of the 2018 Jinsha River Landslide (Tibet, China))》发...
Kafka-消费者组三种分区分配策略Range Assignor、RoundRobin Assignor、Sticky Assignor详细解析
一个写湿的程序猿
08-20 2106
Kafka消费者组三种分区分配策略roundrobin，range，StickyAssignor 文章目录1. Range(默认策略)2. RoundRobin3. StickyAssignor 一个consumer group中有多个consumer，一个 topic有多个partition，所以必然会涉及到partition的分配问题，即确定那个partition由哪个consumer来消费。 Kafka有三种分配策略，roundrobin Assignor，range Assignor，Sticky
Kafka深度解析：从入门到高级实战
"Kafka学习之路，涵盖了Kafka的原理、架构和使用方法，分为入门、提高、高级和项目实战四个部分，旨在全面介绍Kafka的各个方面。" 在深入理解Kafka之前，首先需要了解它的基本概念。Kafka是由LinkedIn开发的一个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流华追梦

你的鼓励将是我创作最大的动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值