如何保证Kafka的可靠性、幂等性和有序性

本文详细探讨了Kafka如何确保消息的可靠性,从生产者、Broker和消费者三个方面阐述了保障措施。此外,介绍了实现幂等性的业务分析方法,以及通过特定策略保证消息的有序性,包括单partition策略和指定key策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前的项目中由于用到了Kafka,所以在前一阵的实习面试中被问到了如何保证Kafka消息的有序性,所以本文对于Kafka这三个常被问到的问题进行总结归纳。

可靠性

对于消息队列而言,如果不能保证消息的可靠性可能会引起重大的生产事故。如果我们在超市里买完东西用手机进行支付,这条支付的消息存进了Kafka,但是因为某些原因导致消息丢失,商家没有收到钱,而我们却已经显示扣费,这是绝对不能容忍的,所以消息队列的可靠性至关重要。

对于可靠性的保障,主要需要从生产者、Broker和消费者三个角度来进行实现,我们先简单介绍一下。

Kafka是基于发布订阅模型的消息队列,主要包括生产者、Broker和消费者三个部分。生产者在Kakfa模型中负责生产消息,并将生产的消息发送到Broker中进行存储,消费者从Broker中拉取订阅的消息进行消费。如下图所示:

从上图我们可以得知Kafka可能出现消息丢失的三个地方就是生产者、Broker和消费者。下面我们分别介绍三种情况。

保证生产者的消息可靠性

从本质上来说,生产者与Broker之间是通过网络进行通讯的,因此保障生产者的消息可靠性就必须要保证网络可靠性,这里Kafka使用acks=all可以设置Broker收到消息并同步到所有从节点后给生产者一个确认消息。如果生产者没有收到确认消息就会多次重复向Broker发送消息,保证在生产者与Broker之间的消息可靠性。

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值