Kafka相关知识

本文详细介绍了Kafka的基本概念,包括Broker、Topic、Partition及其角色。讨论了生产者如何根据分区策略将消息写入特定分区,确保消息有序。同时,分析了Kafka在消息生产和消费过程中的机制,以及如何通过ISR、LEO和HW确保数据不丢失。此外,还探讨了如何防止消息重复消费和维护消息顺序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、基本概念及流程

  • Broker:kafka集群中的实例
  • Topic:队列的主题,逻辑概念;
  • Partition:Topic分区,物理概念,同意parttion内消息有序;
  • Producer & Consumer:生产消息的客户端 & 消费消息的客户端,kafka认为是服务器。

将每个Topic划分为多个分区Partition,每个分区时一组有序的消息日志,分区内每条消息都会关联一个连续的数字ID即offset,生产的一条消息只会送到一个分区上。topic是逻辑概念Partition是物理概念对用户透明,生产者只需要关心消息投递到哪个topic上消费者只需要关心在哪个topic行订阅数据。为了提高每个分区的可用性,分区也存在多个副本。图中相同颜色的分区互为副本。

分区partition是对topic消息进行分片存储,好处是:

  • 负载均衡,同一个topic的分区分布在不同机器节点上,可以分担生产和消费的压力;
  • 提升吞吐,分区分布在不同机器节点提升topic整体的吞吐量。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值