broker异常恢复情况下 消息重复消费问题。

之前在学习rocketmq源码的时候,阅读了丁老师的《rocketmq技术内幕》

在写到broker异常关闭再恢复的情况下会造成大量的消息重复消费问题。我认为这里是有误的。

首先我们知道无论broker是否正常异常恢复,都是先恢复逻辑队列CousumeQueue的。然后再根据本地store目录下是否有abort文件来判断关闭的时候是正常还是异常。

abort:当我们正常启动一个broker时(包括恢复和创建),如果是恢复的情况下会在恢复完成后在store目录下创建一个abort文件。如果不是恢复,则会跳过恢复的过程然后在store文件下创建一个abort文件。这个abort文件的作用是当broker正常关闭的情况下,代码中事先注册了一个jvm的钩子函数,会调用销毁这个abort文件的方法。如果你在broker没启动的情况下,去broker服务器上去检查本地文件,在store目录下是否有abort文件。如果有则证明是异常关闭,反之是正常关闭。

 

当恢复完CousmerQueue逻辑队列后,开始恢复broker。broker恢复的逻辑是根据是否有abort文件的存在与否来进行判断走异常恢复的流程还是走正常恢复的流程。这里就不BB正常恢复的流程了。

异常恢复流程

      读取commitlog文件,从倒数第一个开始从后向前遍历,判断commitlog队列中第一条消息的magic_code是否符合条件,落盘时间是否大于0,落盘时间是否小于checkpoint文件中的最新落盘时间。这个checkpoint最新落盘时间一般都是在reputMessage的时候触发更新的,即往Consumequeue逻辑消息队列中写数据的时候。还有就是正常关闭的时候 会在最后更新一下这个时间。

当三个条件都满足的情况下将这个commitlog取出。(这个commitlog如果这三个条件满足说明它前面的commitlog

### 回答1: 为了防止 Kafka 消息重复消费,可以采取以下几种方法: 1. 使用消费者组:Kafka 允许多个消费者以同一个消费者组的形式订阅同一个主题。当消息被发送到主题时,同一个消费者组中的消费者只会有一个消费者能够接收到消息。这就保证了每个消息只会被消费一次。如果需要进行消息重试,则需要使用不同的消费者组。 2. 使用消息偏移量(offset):Kafka 中每个分区都有一个唯一的偏移量,用于表示分区中已经被消费消息的位置。消费者可以记录下自己消费到的最后一个偏移量,并在下次启动时从该偏移量处开始消费。这种方式可以避免重复消费,但是需要注意,如果消费者处理消息失败,可能会导致消息被跳过而未被处理。 3. 使用幂等性生产者:幂等性生产者可以确保每个消息只会被发送一次,即使出现了网络故障或者其他异常情况。这样可以避免重复发送消息,从而避免重复消费。 4. 使用去重表:消费者可以使用一个去重表来记录已经消费过的消息,每次消费消息时先查询去重表,如果消息已经存在,则可以跳过该消息。这种方式可以避免重复消费,但是需要注意,去重表需要占用一定的内存空间,并且需要考虑去重表的并发访问问题。 ### 回答2: kafka是一种高吞吐量的分布式消息系统,但在实际应用中,消息重复消费是一个常见的问题。为了解决这个问题,kafka提供了以下几种机制来防止消息重复消费: 1. 分区复制:kafka将消息分发到多个分区,并且可以将每个分区的副本分布在不同的Broker上。当消费者进行消费时,只有一个消费者可以消费同一个分区的消息,其他消费者无法消费相同的消息。这样可以保证消息在同一个分区内不会被重复消费。 2. 消费者组:kafka允许多个消费者组同时消费同一个主题的消息。每当一个新的消费者组加入时,kafka会为该消费者组分配一个独立的消费者实例。不同消费者组之间独立消费,可以避免重复消费。 3. 消息偏移量:kafka使用消息偏移量(offset)来标识消息在分区中的位置。消费者通过管理偏移量来确定下一个要消费消息消费者在消费完一个消息后,会将偏移量提交给kafka,kafka会保存最新的偏移量。当消费者再次启动后,会从上一次提交的偏移量开始消费,从而避免重复消费。 4. 消费者日志:kafka提供了一个特殊的主题__consumer_offsets,用于保存消费者的偏移量信息。每个消费者组的偏移量会被写入这个主题,当消费者启动时,会从这个主题读取之前提交的偏移量,以便从之前的位置继续消费。 综上所述,kafka通过使用分区复制、消费者组、消息偏移量和消费者日志等机制,有效地防止消息重复消费。这些机制结合起来,保证了消息的可靠性和一致性,使得kafka成为一个可靠的分布式消息系统。 ### 回答3: Kafka通过以下几种机制来防止消息重复消费: 1. 分区偏移量(Partition Offset):每个消费者在消费消息时会维护一个分区偏移量,用来标识已经消费消息的位置。消费者可以定期提交其消费的偏移量到Kafka集群,以便记录消费的进度。当消费者重新启动后,可以从上一次提交的偏移量位置继续消费,避免对同一条消息进行重复消费。 2. 消费者组(Consumer Group):在Kafka中,多个消费者可以组成一个消费者组,每个分区只能被同一个消费者组中的一个消费消费。这样可以保证一个消息只会被同一个消费者组中的一个消费消费一次,避免了重复消费问题。 3. 提交消费偏移量(Commit Offset):消费者在消费消息后,可以手动或自动将消费的偏移量提交给Kafka集群。当消费者发生故障或重新启动时,可以通过已提交的偏移量来恢复消费进度,继续消费消费消息。 4. 消息的幂等性(Message Idempotence):生产者可以设置消息的幂等性,确保同一消息可以被多次发送但只被消费一次。Kafka通过消息的唯一标识来判断是否是重复消息,如果一个生产者发送了多条相同消息,只有第一条消息会被写入Kafka并被消费,后续相同的消息会被认为是重复消息而被忽略。 通过以上机制,Kafka可以有效地防止消息重复消费消费者可以通过维护分区偏移量和消费者组的方式来保证消息只被消费一次,同时可以通过提交消费偏移量和使用幂等性消息来防止重复消费问题
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值