RocketMQ秘籍：如何保障消息顺序性？什么情况会被重复消费，并且重复消费怎么解决？

解锁RocketMQ秘籍：如何保障消息顺序性？ - 哔哩哔哩

有序消费有什么限制？在什么情况下会消费不到消息?

BROADCASTING("BROADCASTING"),
CLUSTERING("CLUSTERING");

必须设置消费者消息模式是集群消费，如果是广播模式则无法收到消息，一般默认是集群模式
consumer.setMessageModel(MessageModel.CLUSTERING);

rocketmq什么情况下会被重复消费？

1. 消费进度提交问题：如果消费者在处理消息后没有正确提交消费进度，RocketMQ服务端记录的消费进度会比实际的低，这可能导致消息被重复消费。
2. 长时间消费的消息清理机制：RocketMQ会定时清理长时间正在消费的消息，如果这些消息在被清理后再次被消费者拉取，也会造成重复消费。
3. 重试队列：当消费者处理消息失败并返回RECONSUME_LATER时，RocketMQ会将这批消息放入重试队列，之后会再次发送给消费者。默认情况下，消息可以重试16次，每次重试的间隔时间是可配置的。
4. 网络或客户端问题：在消息发送过程中，如果出现网络闪断或客户端宕机，导致服务端对客户端的应答失败，生产者可能会重新发送消息，这也可能导致重复消费。
5. 广播模式：在广播模式下，所有注册的消费者都会消费到消息，这通常发生在集群部署的微服务中，因此会有多台机器重复消费相同的消息。
6. 负载均衡模式：在负载均衡模式下，如果一个Topic被多个Consumer Group订阅，那么每个Group都会消费到所有的消息，尽管这通常不是一个问题，但如果Consumer Group中有多个实例，那么这些实例可能会重复消费消息。

为了避免重复消费，可以根据业务场景设计幂等技术方案，确保即使消息被重复消费，也不会对系统造成不良影响。此外，确保消费者的消费进度能够正确提交，以及合理配置重试策略和次数，也是减少重复消费的关键措施。

怎么解决消息被重复消费?

1. 实现幂等性：确保消费者处理消息的业务逻辑是幂等的，这意味着无论一个消息被处理多少次，最终的结果都是一致的。这样即使出现重复消费，也不会影响系统的状态。
2. 使用消费确认机制：RocketMQ提供了消费确认机制，消费者在成功处理消息后应向Broker发送消费确认。这样，Broker会记录消费状态，如果消费成功，则标记该消息已被消费，从而避免重复消费。
3. 去重处理：在消费者端实现消息去重的逻辑，例如使用数据库、缓存或其他存储机制来记录已经处理过的消息ID，以此来过滤掉重复的消息。
4. 合理配置重试次数和间隔：根据业务需求合理设置消息的最大重试次数和重试间隔，以减少因网络问题或消费者异常导致的重复消费。
5. 避免网络闪断：确保生产者和消费者之间的网络连接稳定，避免因网络问题导致的消息重复投递。
6. 监控和报警：建立监控系统来监控消息的消费情况，一旦检测到可能的重复消费，立即触发报警并进行处理。

通过上述措施，可以有效地减少或避免消息的重复消费，保证消息系统的正确性和稳定性。同时，需要定期对消息队列系统进行审计和压力测试，以确保在各种异常情况下系统的健壮性。