之前的项目中由于用到了Kafka,所以在前一阵的实习面试中被问到了如何保证Kafka消息的有序性,所以本文对于Kafka这三个常被问到的问题进行总结归纳。
可靠性
对于消息队列而言,如果不能保证消息的可靠性可能会引起重大的生产事故。如果我们在超市里买完东西用手机进行支付,这条支付的消息存进了Kafka,但是因为某些原因导致消息丢失,商家没有收到钱,而我们却已经显示扣费,这是绝对不能容忍的,所以消息队列的可靠性至关重要。
对于可靠性的保障,主要需要从生产者、Broker和消费者三个角度来进行实现,我们先简单介绍一下。
Kafka是基于发布订阅模型的消息队列,主要包括生产者、Broker和消费者三个部分。生产者在Kakfa模型中负责生产消息,并将生产的消息发送到Broker中进行存储,消费者从Broker中拉取订阅的消息进行消费。如下图所示:
从上图我们可以得知Kafka可能出现消息丢失的三个地方就是生产者、Broker和消费者。下面我们分别介绍三种情况。
保证生产者的消息可靠性
从本质上来说,生产者与Broker之间是通过网络进行通讯的,因此保障生产者的消息可靠性就必须要保证网络可靠性,这里Kafka使用acks=all
可以设置Broker收到消息并同步到所有从节点后给生产者一个确认消息。如果生产者没有收到确认消息就会多次重复向Broker发送消息,保证在生产者与Broker之间的消息可靠性。