Kafka重点梳理

最新推荐文章于 2024-12-24 19:49:48 发布
最新推荐文章于 2024-12-24 19:49:48 发布
阅读量155 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cb5816303/article/details/103722894
本文详细介绍了Kafka的三种分区策略：指明分区、基于key的哈希分区以及轮询分区，深入探讨了每种策略的工作原理及其应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

分区策略

1、指明分区，即按指定的值作为分区值。
2、没指定分区但指定了key，将key的hash值与topic的partition个数取余得到分区值。
3、既没指定分区又没指定key时，第一次调用时就随机生成一个整数（后续每次调用时在此整数基础上自增），将该数与分区数取余得到分区值，即round-robin算法。

大数据领域Kafka的消息队列监控指标体系
AI天才研究院
05-10 686
Kafka作为分布式消息系统的标杆，在大数据领域扮演着至关重要的角色。随着业务规模扩大，对Kafka集群的监控变得愈发重要。系统梳理Kafka监控的关键指标体系提供可落地的监控方案实现方法分析指标背后的技术原理和优化方向分享实际生产环境中的最佳实践本文覆盖范围包括Kafka生产者、消费者、Broker和Zookeeper的完整监控指标体系，以及相关的告警策略和性能优化建议。背景介绍：阐述Kafka监控的基本概念和重要性核心概念与联系：分析Kafka架构与监控指标的关系。
Kafka之集群搭建
weixin_43134177的博客
01-10 1849
单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。因此，我们需要使用集群。
Kafka相关重点难点
qq_42259971的博客
09-09 837
开启幂等性Max.in.flight.requests.per.connection需要设置小于等于5,因为kafka1.x版本后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据，故无论如何，都可以保证最近的5个request的数据是有序的。-1可靠性分析：如果分区副本设置为1，或者ISR里面应答的最小副本数量设置为1，和ack=1的效果是一样的，仍有丢失风险。消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。
kafka重点问题总结
王大锤的博客
02-11 1763
这两天重点学习了下kafka消息队列，对其相关比较重要的问题进行总结。（以下内容均个人理解总结，不对的地方多多指正） 1.kafka组成有哪些？ Broker：kafka保存消息的中转站，集群中包含多个kafka服务节点，每个kafka服务节点就称为broker。 Topic：主题，用来存储不同类别的消息。 Partition：分区队列，一个Topic包个或多个Partition，在创建T...
kafka重点总结
daodaodaoge的博客
04-03 2235
kfaka@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行
kafka知识点整理
StrangeSir的博客
09-21 412
目录消息队列的两种模式点对点模式发布订阅模式kafka重要概念 消息队列的两种模式 点对点模式 每个消息只有一个接收者，一旦消息被消费，消息就会删除 发布订阅模式 每个消息可以有多个消费者，消费完不会被删除，消息默认保存7天（可指定配置log.roll来修改）； 同一个消费者组内的多个消费者可以当作一个整体，他们共用一个offset（即不会重复消费消息）； kafka重要概念 producer（生产者） 生产者负责往MQ中写入消息 consumer（消费者） 消费者负责从MQ中读
kafka知识点总结
weixin_45063957的博客
09-03 1380
kafka 的基本原理和使用
一文详解kafka知识点
三日沐水
11-19 1870
传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发生给特定的订阅者。而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。新定义：kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务。
快速了解Kafka
以爱护甲,爱满枫林。
12-24 1060
Apache Kafka最初由LinkedIn开发并于2011年开源。他主要解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。Kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性和容错性等。
Kafka--Kafka日志索引详解以及生产常见问题分析与总结
weixin_43874650的博客
12-20 2240
​ Kafka的设计重点是在网络不稳定，服务也不稳定的复杂分布式环境下，如何保持高性能，高可用，高可扩展的三高架构。在这方面，Kafka的设计是很复杂也很完善的，是业内公认的老大哥。因此网上的解读文章也是最多的。但是这些解读的文章如果没有一条主线串起来，那永远都只是一些零散的，过目既忘的东西。​ 在这几期的课程中，一直在尝试以可见的方式去深入理解Kafka的各种主要设计思想。内容非常多，节奏也非常紧凑，但是梳理出了客户端、Zookeeper数据、Log日志三条可以看得见的数据主线。
Kafka 史上最全面的大数据学习（十一） Kafka的概述 重点重点
热忱的博客
08-08 194
一、概述 消息队列 消息的概念 消息的是系统间通信的载体，是分布式应用不可获缺的一部分。目前系统间发送消息有两种种类。 同步消息 即使消息：打电话、表达提交、WebService、Dubbo|SpringCloud 要求消息发送方和接受放必须同时在线，一般都需要和接收方建立会话。 异步消息 发送方不理会对方是否在线，一般不需要和接收方建立会话，在接受方上线后，一般会获取发送方发送的消息。 显而易见，可以看出消息队列就是使用的异步消息的模型。 消息队列 FIFO 先进先出 使用场景 异步消息 系统间解耦
Kafka知识点大全整理
HelloWorld搬运工
05-07 640
个人博客请访问http://www.x0100.top 一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他...
大数据面试重点：kafka工作原理
Minemm的博客
08-18 5276
kafka原理一、消息中间件1.常见消息中间件2.为什么使用消息中间件3.消息中间件工作模式4.消息中间件中的术语二、Apache Kafka1.kafka的特点2.kafka安装3.Kafka架构Kafka MessageKafka ProducerKafka BrokerKafka Consumer4.ZooKeeper在Kafka中的作用Kafka优化Kafka优化-1Kafka优化-2Kafka优化-3Kafka优化-4 一、消息中间件 1.常见消息中间件 ActiveMQ RabbitMQ Roc
Kafka所有重要知识点
qq_41378127的博客
05-08 628
一、Kafka的基本架构 Kafka是一个分布式的基于发布/订阅模式的消息队列， （1）Producer ：消息生产者，就是向kafka broker发消息的客户端； （2）Consumer ：消息消费者，向kafka broker取消息的客户端； （3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。 （4）Brok
Kafka是大数据开发的支撑点，是不可忽视的重点内容!
海牛-大数据的博客
08-07 303
随着大数据逐步的“接地气”，各种企业开始纷纷借力大数据来助力自己商业的发展，而与此同时，一大批的求职者也纷纷的开始进入到大数据开发领域，以期找到自己存在的价值，而在学习的过程中以及实际应用中，我们不难发现kafka的作用和价值越来越大。 Kafka在企业的发展乃至各个行业的应用，都决定了其在未来必将受到更多的关注，那么对于企业和个人而言，该如何更加详细的了解kafka的概念及其影响力呢？ ...
Kafka史上最详细原理总结
热门推荐
我是Alvin家鸡鸭鱼的小米米
08-31 6万+
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
超全的Kafka知识点总结(建议收藏!)
大数据梦想家
03-24 1万+
        前段时间写了Kafka快速入门系列1-8，但苦于知识点非常繁琐，对于很多初级选手来说并不友好，因此博主又根据所学，整理了一份关于Kafka知识点总结，希望对大家的学习有所帮助(✪ω✪)         码字不易,先赞后看! ...
很到位！原来这才是Kafka的“真面目”
weixin_34366546的博客
01-22 1064
2019独角兽企业重金招聘Python工程师标准>>> ...
关于kafka的zookeeper工作流程是什么，
最新发布
03-01
<think>嗯，用户之前已经问过关于Kafka的ISR和ID的问题，现在又接着问ZooKeeper的工作流程。这说明用户可能是在学习Kafka的整体架构，想要了解各个组件之间的关系。我需要先确定用户对Kafka的基本概念是否熟悉，但根据之前的对话，他们已经了解了一些核心概念，所以可以深入一点。 用户提到的是ZooKeeper在Kafka中的工作流程。首先，我得回忆一下Kafka和ZooKeeper的关系。Kafka在旧版本中重度依赖ZooKeeper，用于元数据管理、控制器选举、Broker注册等。不过在较新版本中，Kafka开始逐步脱离ZooKeeper，比如KIP-500引入的KRaft模式，但用户可能还在使用依赖ZooKeeper的版本，所以需要详细解释传统架构下的流程。 接下来需要梳理ZooKeeper在Kafka中的具体职责。比如Broker注册、Topic配置管理、分区和副本状态、控制器选举、消费者群组协调等。要分步骤说明每个流程是如何工作的，比如Broker启动时如何注册自己，控制器如何选举，分区Leader如何分配，消费者如何利用ZooKeeper协调。 同时要注意用户可能对某些术语不太熟悉，比如控制器（Controller）、ISR（之前已经提过），需要适当关联之前的内容。比如在Broker注册时，ZooKeeper存储Broker的ID和地址，这样控制器可以知道集群中的Broker列表，进而进行分区分配。 还需要考虑用户可能的疑问点，比如为什么需要控制器选举，ZooKeeper如何监听节点变化，当Broker宕机时如何触发故障转移。这些流程需要以步骤的形式呈现，比如Broker注册、控制器选举、元数据同步、故障处理等阶段。 另外，用户可能对ZooKeeper的高可用性和一致性机制感兴趣，比如ZAB协议，但问题主要集中在工作流程，所以可能需要简要提及ZooKeeper如何保证数据一致性，但不过多深入内部机制。 最后，考虑到Kafka正在向去除ZooKeeper的方向发展，可能需要补充说明新版本的变化，让用户了解趋势，但重点还是在传统工作流程上。同时确保回答结构清晰，分点说明，结合示例或参数配置，比如ZooKeeper的路径结构，帮助用户理解存储的数据结构。</think>以下是Kafka依赖ZooKeeper时的核心工作流程详解（基于传统架构，适用于Kafka 2.8之前的版本）： --- ### 一、核心角色分工 | 组件 | 职责 | |-------------|------------------------------| | **ZooKeeper** | 分布式协调服务，存储元数据和集群状态 | | **Kafka Broker** | 数据存储与消息处理节点 | | **Controller** | 特殊Broker，通过ZooKeeper选举产生 | --- ### 二、核心工作流程 #### 1. **Broker注册流程** - **注册路径**：`/brokers/ids/[broker.id]` - **步骤**： 1. Broker启动时向ZooKeeper的`/brokers/ids`注册临时节点（Ephemeral Node） 2. 节点内容包含：`{ "host": "192.168.1.10", "port": 9092, "version": 4 }` 3. 若Broker宕机，临时节点自动消失触发集群状态更新 #### 2. **Controller选举** - **选举机制**： 1. 所有Broker竞争创建`/controller`临时节点 2. 第一个成功创建的Broker成为Controller 3. 若Controller宕机，节点消失触发重新选举 - **Controller职责**： - 分区Leader选举 - 副本分配管理 - 集群扩缩容处理 #### 3. **Topic元数据管理** - **存储路径**： - 配置信息：`/config/topics/[topic-name]` - 分区分配：`/brokers/topics/[topic-name]` - **创建流程**： 1. 用户通过`kafka-topics.sh`创建Topic 2. ZooKeeper在`/brokers/topics`下记录分区副本分配方案 3. Controller监听该节点变化，同步元数据到所有Broker #### 4. **消费者群组协调** - **旧版消费者（已淘汰）**： - 偏移量存储路径：`/consumers/[group-id]/offsets/[topic]/[partition]` - 消费者注册路径：`/consumers/[group-id]/ids/[consumer-id]` - **新版消费者（使用__consumer_offsets Topic）**： ZooKeeper仅保留兼容支持，主要数据迁移至Kafka内部Topic #### 5. **分区状态同步** - **ISR变更**： 1. Leader将ISR变化写入`/brokers/topics/[topic]/partitions/[p]/state` 2. Controller监听该节点，触发元数据广播 - **Leader选举**： 1. Controller检测到Leader下线 2. 从ISR中选择新Leader，更新ZooKeeper中的分区状态 --- ### 三、关键ZooKeeper路径结构 ```shell / ├── brokers │ ├── ids # 在线Broker列表（临时节点） │ ├── topics # Topic分区分配方案 │ └── seqid # 全局唯一ID生成 ├── config │ ├── topics # Topic级别配置覆盖 │ └── clients # 客户端级配置 ├── controller # 当前Controller信息（临时节点） ├── controller_epoch # Controller纪元版本（防脑裂） └── admin └── delete_topics # Topic删除标记 ``` --- ### 四、典型场景示例 #### 场景1：Broker故障恢复 1. Broker-3宕机，其`/brokers/ids/3`节点消失 2. Controller检测到节点变化 3. 重新计算受影响分区的ISR集合 4. 若原Leader在Broker-3上，触发分区Leader切换 #### 场景2：Topic扩容 1. 用户执行`kafka-topics --alter --partitions 4` 2. ZooKeeper更新`/brokers/topics/[topic]`数据 3. Controller监听到变更，计算新分区的副本分配 4. 将新分区元数据同步给所有Broker --- ### 五、参数配置关键点 ```properties # ZooKeeper连接配置 zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka # Session超时（默认18秒） zookeeper.session.timeout.ms=18000 # 连接超时（默认6秒） zookeeper.connection.timeout.ms=6000 ``` --- ### 六、Kafka去ZooKeeper化趋势 自Kafka 2.8版本起，通过**KRaft模式**（使用内部Raft协议）逐步替代ZooKeeper，核心变化： 1. 元数据存储在内部`__cluster_metadata` Topic 2. Controller角色分为Active/Standby模式 3. 完全移除ZooKeeper依赖（目标版本3.0+） --- **注**：生产环境若使用Kafka 3.0+版本，建议优先选择KRaft模式以获得更好的性能和运维简化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值