RocketMQ源码中,7种导致重复消费的坑!

rocketmq-spring-boot-starter导致的多消费者实例重复消费问题 rocketM多消费者重复问题问题描述背景知识本地代码消息积压并重复消息原因分析 问题描述 在使用rocketMQ集群模式消费的时候(通过springboot整合的依赖操作),发现在一台服务器启动多个消费者实例后,消息进行了重复消费,但是在不同的服务器部署消费者实例后,消息能正常消费。 背景知识 rocketMQ的消费模式有两种: 负载均衡模式 消费者采用负载均衡方式消费消息,多个消费者(服务启动多个,本地多个springboot加载类启动)共同消费队列消息,每个消费者处理的消息不同 广播模式 消 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:三友的java日记


在众多关于MQ的面试八股文中有这么一道题,“如何保证MQ消息消费的幂等性”。

为什么需要保证幂等性呢?是因为消息会重复消费。

为什么消息会重复消费?

明明已经消费了,为什么消息会被再次被消费呢?

不同的MQ产生的原因可能不一样

本文就以RocketMQ为例,来扒一扒RocketMQ中会导致消息重复消息的原因,最终你会发现,其实消息重复消费算是RocketMQ无奈的“bug”。

3e9463346603914140f7fcdca324083a.png

消息发送异常时重复发送

首先,我们来瞅瞅RocketMQ发送消息和消费消息的基本原理。

a05f6a01d734709e14b063ddccde9b5e.png

如图,简单说一下上图中的概念:

  • Broker,就是RocketMQ的服务端,如上图就有两个服务实例

  • Topic就是一类消息集合的名字

  • Queue就是Topic的对应的队列,消息都存在Queue上,每个Topic都会有自己的几个Queue

所以,整个消息发送和消费过程大致如下:

  • 生产者在发送消息之前根据负载均衡策略(默认是轮询)选择一个Queue,然后跟这个Queue所在的机器建立连接,把消息发送到这个Queue上

  • 消费者只要消费这个Queue,那么就能消费到消息

在正常情况下,生产者的确是按照这个方式来发送消息的

但是当出现了异常时,这种异常包括消息发送超时、响应超时等等,RocketMQ为了保证消息成功发送,会进行消息发送的重试操作,默认情况下会最多会重试两次

bb211ccade277ef31873f6455f20ae92.png

重试操作比较简单,就是选择另一台机器的Queue来发送。

虽然重试操作可以很大程度保证消息能够发送成功,但是同时也会带来消息重复发送的问题。

举个例子,假设生产者向A机器发送消息,发生了异常,响应超时了,但是就一定代表消息没发成功么?

不一定,有可能会出现服务端的确接受到并处理了消息,但是由于网络波动等等,导致生产者接收不到服务端响应的情况,此时消息处理成功了,但是生成者还是以为发生了异常

此时如果发生重试操作,那么势必会导致消息被发送了两次甚至更多次,导致服务端存了多条相同的消息,那么就一定会导致消费者重复消费消息 。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

消费消息抛出异常

在RocketMQ的并发消费消息的模式下,需要用户实现MessageListenerConcurrently接口来处理消息

e9b89569c6c4d6f738e3907991a2372c.png

当消费者获取到消息之后会调用MessageListenerConcurrently的实现,传入需要消费的消息集合 msgs,这里提到的msgs很重要

87b287e8f8118bb5acffaa868d3b7d78.png

如上代码,当消息消费出现异常的时候,status就会为null,后面就会将status设置成为RECONSUME_LATER。

RECONSUME_LATER翻译成功中文就是稍后重新消费的意思

所以从这可以看出,一旦抛出异常,那么消息之后就可以被重复消息。

到这其实可能有小伙伴觉得消息消费失败重新消费很正常,保证消息尽可能消费成功。

对,这句话不错,的确可以在一定程度上保证消费异常的消息可以消费成功。

但是坑不在这,而是前面提到的消费时传入的整个集合 中的消息都需要被重新消费。

具体的原因我们接着往下看

当消息处理之后,不论是成功还是异常,都需要对结果进行处理,代码如下

3bd2eeec06936af8ec7c80c897682877.png

当处理结果为RECONSUME_LATER的时候(异常会设置为RECONSUME_LATER),此时ackIndex会设置成-1,后面循环遍历的时候就会遍历到所有这次消费的消息,然后调用sendMessageBack方法,sendMessageBack方式是用来实现消息重新消费的逻辑,这里就不展开说了。

所以,一旦被消费的一批消息中出现一个消费异常的情况,那么就会导致整批消息被重新消费,从而会导致在出现异常之前的成功处理的消息都会被重复消费 ,非常坑。

不过好在消费时传入的消息集合中的消息数量是可以设置的,并且默认就是1

ecd91d3da241c24cf7ae01f0a9dbaf35.png

也就说默认情况下那个集合中就一条消息,所以默认情况下不会出现消费成功的消息被重复消费的情况。

所以这个参数不要轻易设置,一旦设置大了,就可能导致消息被重新消费。

除了并发消费消息的模式以外,RocketMQ还支持顺序消费消息的模式,也会造成重复消费,逻辑其实差不多,但是在实现消息重新消费的逻辑不一样。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

消费者提交offset失败

首先来讲一讲什么是offset。

前面说过,消息在发送的时候需要指定发送到,消息最后会被放到Queue中,其实真正的消息不是在Queue中,Queue存的是每个消息的位置,但是你可以理解为Queue存的是消息。

而消息在Queue中是有序号的,这个序号就被称为offset,从0开始,单调递增1。

a103ed107ef7fc7ea7dd7c718fb4cc68.png

比如说,如上图,消息1的offset就是0,消息2的offset就是1,依次类推。

这个offset的一个作用就是用来管理消费者的消费进度。

当消费者在成功消费消息之后,需要将所消费的消息的offset提交给RocketMQ服务端,告诉RocketMQ,这个Queue的消息我已经消费到了这个位置了。

提交offset的代码就在上述第二节提到的处理结果的后面

7c585d120f99166b771c96f0d824582a.png

这样有一个好处,那么一旦消费者重启了或者其它啥的要从这个Queue拉取消息的时候,此时他只需要问问RocketMQ服务端上次这个Queue消息消费到哪个位置了,之后消费者只需要从这个位置开始消费消息就行了,这样就解决了接着消费的问题。

1ddc53673c1c5d6d2652967ff3eaa36b.png

但是RocketMQ在设计的时候,当消费完消息的时候并不是同步告诉RocketMQ服务端offset,而是定时发送。

dd0f3b7504f6a873bbe7bc10cce1fa51.png

如图,当消费者消费完消息的时候,会将offset保存到内存中的一个Map数据结构中,所以上面截图的那段代码其实是更新内存中的offset

8d21803dd9448c831db5ce2d594efe9e.png

而在消费者启动的时候会开启一个定时任务,默认是5s一次,会通过网络请求将内存中的每个Queue的消费进度offset发送给RocketMQ服务端。

9a2c69c89edbeb1d200cab41646f12f6.png

由于是定时任务,所以就可能出现服务器一旦宕机,导致最新消费的offset没有成功告诉RocketMQ服务端的情况

此时,消费进度offset就丢了,那么消费者重启的时候只能从RocketMQ中获取到上一次提交的offset,从这里开始消费,而不是最新的offset,出现明明消费到了第8个消息,RocketMQ却告诉他只消费到了第5个消息的情况,此时必然会导致消息又出现重复消费 的情况。

服务端持久化offset失败

上一节说到,消费者会有一个每隔5s钟的定时任务将每个队列的消费进度offset提交到RocketMQ服务端

当RocketMQ服务端接收到提交请求之后,会将这个消费进度offset保存到内存中

64b69bc37ff0c76bedcd1fcc737971a1.png

同时为了保证RocketMQ服务端重启消费进度不会丢失,也会开启一个定时任务,默认也是5s一次,将内存中的消费进度持久化到磁盘文件中

313226d525b8692f619e1818834cc8f8.png

所以,整个消费进度offset的数据流转过程如下

d1463c324c3bb7844c98f590e8dccc41.png

当RocketMQ服务端重启之后,会从磁盘中读取文件的数据加载到内存中。

跟消费者产生的问题一样,一旦RocketMQ发生宕机,那么offset就有可能丢失5s钟的数据,RocketMQ服务端一旦重启,消费者从RocketMQ服务端获取到的消息消费进度就比实际消费的进度低,同样也会导致消息重复消费。

主从同步offset失败

在RocketMQ的高可用模式中,有一种名叫主从同步的模式,当主节点挂了之后,从节点可以手动升级为主节点对外提供访问,保证高可用。

在主从同步模式下,从节点默认每隔10s会向主节点发送请求,同步一些元数据,这些元数据就包括消费进度

0422fe7db8879a2a63cae708f7f24114.png

当从节点获取到主节点的消费进度之后,会将主节点的消费进度设置到自己的内存中,同时也会持久化到磁盘。

所以整个消费进度offset的数据的流转过程就会变成如下

2cf0493ecfeef4b5ce4157dcd058de7f.png

同样,由于也是定时任务,那么一旦主节点挂了,从节点就会丢10s钟的消费进度,此时如果从节点升级为主节点对外提供访问,就会出现跟上面提到的一样的情况,消费者从这个新的主节点中拿到的消费进度比实际的低,自然而然就会重复消费消息。

所以,总的来说,在消费进度数据流转的过程中,只要某个环节出现了问题,都有很有可能会导致消息重复消费。

重平衡

先来讲一讲什么是重平衡,其实重平衡很好理解,我说一下你就明白了。

前面说到,消费者是从队列中获取消息的

50640b1ee7d7f6065f3b8a8fcd27e26f.png

在RocketMQ中,有个消费者组的概念,一个消费者组中可以有多个消费者,不同消费者组之间消费消息是互不干扰的,所以前面提到的消费者其实都在消费组下

c9c5986ee06a33fab76a8d9abc980f4b.png

在同一个消费者组中,消息消费有两种模式:

  • 集群消费模式

  • 广播消费模式

由于RocketMQ默认 是集群消费模式,并且绝大多数业务场景都是使用集群消费模式,所以这里就不讨论广播消费模式了。

集群消费模式 是指同一条消息只能被这个消费者组消费一次,这就叫集群消费。

并且前面提到提交消费进度给RocketMQ服务端的情况只会集群消费模式下才会有,在广播消费模式不会提给到RocketMQ服务端,仅仅持久化到本地磁盘

同时前面说的消费者提交消费进度真正提交的是消费者组对于这个Queue的消费进度,而不是指具体的某个消费者对于Queue消费进度。

虽然说这里将前面提到的一些含义更深一步,但是并不妨碍前面的理解。

集群消费的实现就是将队列按照一定的算法分配给消费者,默认是按照平均分配的。

e061f1d50dcfe8b1b9164ac8c157e676.png

如图所示,假设某个topic有4个Queue,有个消费者组订阅了这个topic,这个消费者组有两个消费者1和消费者2,此时每个消费者就可以被分配两个队列,这样就能保证消息正常情况下只会被消费一次。如果只有一个消费者,那么这个消费者就会消费所有队列,很好理解。

接着后面又启动了一个消费者3,此时为了保证刚上线的消费者3能够消费消息,就要进行重平衡 操作,重新分配每个消费者消费的队列。

在重平衡之后就可能会出现下面这种情况

c9162b667e58dbac621d5ac6af62b410.png

如上图,原本被消费者2消费的Queue4被分配给消费者3,此时消费者3就能消费到消息了,这就是重平衡 。

除了新增消费者会导致重平衡之外,消费者数量减少,队列的数量增加或者减少都会触发重平衡。

在了解了重平衡概念之后,接下来分析一下为什么重平衡会导致消息的重复消费。

假设在进行重平衡时,还未重平衡完之前,消费者2此时还是会按照上面第二节提到的消费消息的逻辑来消费Queue4的消息

当消费者2已经重平衡完成了,发现Queue4自己已经不能消费了,那么此时就会把这个Queue4设置为dropped,就是丢弃的意思

37fd2fcb7c39db89010949e9b767c74c.png

但是由于重平衡进行时消费者2仍然在消费Queue4的消息,但是当消费完之后,发现队列被设置成dropped,那么此时被消费者2消费消息的offset就不会被提交 ,原因如下代码

7ce6b195c010fa6c0bfc627a06738637.png

这段代码前面已经出现过,一旦dropped被设置成true,这个if条件就通不过,消费进度就不会被提交。

成功消费消息了,但是却不提交消费进度,这就非常坑了。。

于是当消费者3开始消费Queue4的消息的时候,他就会问问RocketMQ服务端,我消费者3所在的消费者组对于Queue4这个队列消费到哪了,我接着消费就行了。

此时由于没有提交消费进度,RocketMQ服务端告诉消费者3的消费进度就会比实际的低,这就造成了消息重复消费的情况。

清理长时间消费的消息

在RocketMQ中有这么一个机制,会定时清理长时间正在消费的消息。

11edf24be13c50f8802ca7cad71c79b0.png

如图,假设有5条消息现在正在被消费者处理,这5条消息会被存在一个集合中,并且是按照offset的大小排序,消息1的offset最小,消息5的offset最大。

RocketMQ消费者启动时会开启一个默认15分钟执行一次的定时任务

927fb8f008f7d05c7b8647aee9b8c01c.png

这个定时任务会去检查正在处理的消息的第一条消息,也就是图中的消息1,一旦发现消息1已经处理了超过15分钟了,那么此时就会将消息1从集合中移除,之后会隔一定时间再次消费消息1。

这也会有坑,虽然消息1从集合中被移除了,但是消息1并没有消失,仍然被消费者继续处理,但是消息1隔一定时间就会再次被消费,就会出现消息1被重复消费的情况。

这就是清理长时间消费的消息导致重复消费的原因。

但此时又会引出一个新的疑问,为什么要移除这个处理超过15分钟的消息呢?

这就又跟前面提到的消费进度 提交有关!

前面说过消息被消费完成之后会提交消费进度,提交的消费进度实际会有两种情况:

第一种 就是某个线程消费了所有的消息,当把所有的消息都消费完成之后,就会把消息从集合中全部移除,此时提交的消费进度offset就是图中消息5的offset+1

加1的操作是为了保证如果发生重启,那么消费者下次消费的起始位置就是消息5后面的消息,保证消息5不被重复消费

第二种 情况就不太一样了

假设现在有两个线程来处理这5条消息,线程1处理前2条,线程2处理后3条,如图

59421ab4100455f4012fd374eb61b055.png

现在线程1出现了长时间处理消息的情况。

此时线程2处理完消息之后,移除后面三条消息,准备提交offset的时候发现集合中还有元素,就是线程1正在处理的前两条消息,此时线程2提交的offset并不是消息5对应的offset,而是消息1的offset,代码如下

191a51516ab20beda6c921a617fda6fa.png

这么做的主要原因就是保证消息1和消息2至少被消费一次。

因为一旦提交了消息5对应的offset,如果消费者重启了,下次消费就会接着从消息5的后面开始消费,而对于消息1和消息2来说,并不知道有没有被消费成功,就有可能出现消息丢失的情况。

所以,一旦集合中最前面的消息长时间处理,那么就会导致后面被消费的消息进度无法提交,那么重启之后就会导致大量消息被重复消费。

为了解决这个问题,RocketMQ引入了定时清理的机制,定时清理长时间消费的消息,这样消费进度就可以提交了。

最后

总得来说,RocketMQ中还是存在很多种导致消息重读消费的情况,并且官方也说了,只是在大多数情况下消息不会重复

54118160c3aaceef0bee979a5c014950.png

所以如果你的业务场景中需要保证消息不能重复消费,那么就需要根据业务场景合理的设计幂等技术方案。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

5a096be594c03f276ecdae0a1e267dfb.png

已在知识星球更新源码解析如下:

0606ce5e0029f461ae7c7780ed523731.jpeg

2a88862e5cd64ca8391250ddb88664dd.jpeg

beef4628b4a22868b9c93a350d2a6a4d.jpeg

5f90ba23baa48f89b512a7b6bac603bd.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
RocketMQ 如何保证消息不丢失,如何保证消息不被重复消费 阅读详情

相关推荐

太坑了,我竟然从RocketMQ源码中扒出了7种导致消息重复消费的原因

总得来说,RocketMQ中还是存在很多种导致消息重读消费的情况,并且官方也说了,只是在大多数情况下消息不会重复所以如果你的业务场景中需要保证消息不能重复消费,那么就需要根据业务场景合理的设计幂等技术方案。

m0_71777195的博客 322

RocketMQ 解决 No route info of this topic 异常步骤

rocketmq运行时提示 No route info of this topic 异常产生的原因可能是 ①Broker禁止自动创建Topic,且用户没有通过手工方式创建Topic ②Broker没有正确连接到Name Server ③Producer没有正确连接到Name Server  首先解决①这种情况,启动顺序要先启动nameserver,再启动broker,启动broke

IT农场 16万+

RocketMQ 消费者Rebalance 解析——图解、源码级解析

文章目录什么是消息负载均衡?Rebalance的原因负载策略使用方法消息消费默认策略 什么是消息负载均衡? Rebalance机制: 将一个Topic下的多个队列在同一个消费者组下的多个消费者实例之间进行重新分配。该机制的目的是为了提高消息的并行处理能力 例如: 一个Topic下有5个队列,如果只有一个消费者的话,这个消费者就会处理所有队列的消息。如果有两个消费者的话,就可以两个消费者共同处理这5个队列 但Rebalance机制也存在明显的限制与危害: 如果消费者组下的消费者实例数量大于队列数量时,多

如切如磋,如琢如磨 2595

RocketMQ发送及消费重试机制

发送重试机制: RocketMQ支持发送失败内部重试,默认是2次,在异步、SendOneWay模式下不支持重试。 消费重试机制: RocketMQ在消费失败时,支持消费端重试继续消费消息,默认支持16次重试,每次重试的时间间隔增加,只有在Cluster模式支持重试、广播模式不支持重试。 在重试期间,消息的key和ID不会发生改变,应用程序可以以此做好幂等性控制。 在重试期间,还可以继续消费其它新消息。 package c...

男儿当自强 2701

RocketMQ Push消息给消费者 解析——图解、源码级解析

文章目录概述Push消息消费流程开启消息消费接收消息 概述 RocketMQ中消费者有两种方式获得消息来消费:Push模式和Pull模式 Push模式:服务端将消息推送到客户端 Pull模式:客户端不断请求服务端,或许消息 实际上这两种模式的底层实现都是采用的Consumer主动拉取消息的方式 在Push方式里,把Consumer轮询过程封装起来了,并注册了MessageListener监听器,当拉取到消息后唤醒监听器来消费,所以感觉消息就像是被服务端推过来的一样 在Pull模式中,Consumer

如切如磋,如琢如磨 2331

【学习路线】 游戏客户端开发入门到进阶

游戏开发是一个交叉性极强的技术领域,对开发者提出了高维度的要求。作为初学者,不要急于求成,打牢基础、注重原理、勤于实践,你的成长将会非常快速而稳健。希望这份学习路线与书单能为你指明方向,迈出职业开发者的第一步。

hhw_hhw的博客 2133

【SpringBoot框架篇】22.集成RocketMQ实现消息发布和订阅

集成RocketMQ实现消息的发布和订阅

皓亮君的博客 6138

使用Avalonia跨Linux平台

Avalonia类似使用WPF的技术方法来开发,所以,需要会使用WPF,其中的一些语法和写法与WPF有所区别,但是他们相差不大,会WPF的话,基本上可以看看文档后,完全掌握Avalonia的使用,从而达到跨平台开发的任务。其实写法有些不一样,可以参考官网的说明,进行修改。2. 安装完成后,重启VS2022,我们可以看到1和2,其中1是使用MVVM模式开发,2是普通模式开发,我们选择2,建立项目。9.直接双击粉红色的文件,进行安装,输入密码,但是美中不足的是,好像没有图标,图标似乎需要单独去设置。

故里2130 1万+

RocketMQ(四):重复消费、消息重试、死信消息的解决方案

因为 Message ID 有可能出现冲突(重复)的情况。创建user表结构,num_no字段设置为唯一索引。控制重试次数,重试几次后,直接记录到数据库等等。application.yml配置文件设置。所以用业务唯一标识作为幂等处理的关键依据。Redisson分布式锁配置。所有Consumer。监听死信队列处理消息。什么情况下会出现堆积。

从基础到源码解析的学习记录 6561

OpenClaw实现多agent协作研究

本文介绍了如何构建多agent协作系统,通过飞书机器人实现任务分配与执行。系统包含三个agent:research_leader(总调度)、research_content(内容生成)和research_review(内容审核)。详细说明了agent配置方法(包括创建命令、权限设置)、飞书channel绑定方式,以及通过共享目录和会话机制实现协作。最后展示了应用示例,用户只需向leader机器人下达任务,系统即可自动完成内容生成和审核的全流程。

hhue2007的专栏 618

C#中通过Mapster实现轻量级高效对象映射器:从零到精通

本文介绍了.NET生态中高性能对象映射库Mapster的完整使用指南。从基础安装(通过NuGet包)到快速入门示例,展示了如何实现简单对象映射。进一步讲解了自定义映射规则、命名不一致属性的处理方式,以及如何在ASP.NET Core中集成Mapster服务。针对复杂场景,详细解析了嵌套对象映射的配置技巧,并提供了性能优化方案(如预编译映射器)和调试技巧(启用调试模式、捕获映射异常)。通过完整的代码实践,帮助开发者高效解决从基础到高级的对象映射需求。

墨夶的博客 742

Rocketmq重复消费问题

一.RocketMQ消息重复消费: 应用:通过Rocketmq异步发送极光数据推送至app端,在推送的同时将数据存入mysql数据库中 问题:在app端收到多条相同的推送消息 二.异常出现的原因 Rocketmq在消费消息时产生了异常,MessageListenerConcurrently接口返回了RECONSUME_LATER标志 ...

weixin_41047933的博客 2万+

使用ChatGPT工具阅读文献的实战教程

本文介绍核心内容为使用ChatGPT工具阅读文献,希望对学习和使用ChatGPT的同学们有所帮助。为了兼顾质量和速度,本专栏的更新频率为一周一到两更。 文章目录 1. 前言 2. 实战教程 2.1 下载工具并登录 2.2 提取文献中的关键信息

herosunly的博客 15万+

这些年遇到的RocketMQ消息消费超时/消费异常重试机制导致的重复消费问题(并发消费和顺序消费)源码分析

图文详述并发消费模式和顺序消费下RocketMQ消息消费超时、消息消费出现异常时的重试机制原理、源码

健身变秃,coding变强 1万+

YOLO26创新改进 | 全网独家创新篇、小目标检测专属 | AAAI 2025 | 引入HS-FPN中的HFP和SDP创新点,从频域增强小目标特征,淘汰FPN进行升级,助力YOLO26有效涨点

本文提出HS-FPN特征金字塔网络,通过高频感知模块(HFP)和空间依赖感知模块(SDP)优化YOLO26模型。HFP利用高通滤波器增强小目标的高频特征,SDP捕获相邻像素的空间依赖关系。在AI-TOD等小目标检测数据集上,HS-FPN相比传统FPN显著提升性能。文章详细介绍了HFP和SDP的模块结构、核心代码实现,以及如何在YOLO26中集成这两个模块的配置方法,提供了多个版本的yaml文件配置方案。实验结果表明该方法能有效改善微小目标检测效果。

Ai缝合怪、助力小伙伴高效发论文 208

智能合约监控告警:提示工程架构师用AI Prompt实现精准预警

当AI大模型(尤其是代码理解模型如CodeLlama、GPT-4 Code)与区块链数据结合,智能合约监控迎来范式革新。AI模型如何精准理解智能合约的业务特殊性?如何避免"AI幻觉"导致的误报?如何让模型学会区分"正常异常"与"攻击前兆"?答案藏在"提示工程"(Prompt Engineering)中。理解特定智能合约的业务逻辑(如DeFi协议的清算机制、NFT的铸造规则)识别复杂的攻击模式(如重入攻击的调用链特征、闪电贷的套利路径)结合链上链下数据进行多维度推理(如关联价格波动与异常交易)

AI架构全栈开发实战笔记 1011

深扒RocketMQ源码之后,我找出了RocketMQ消息重复消费的7种原因

在众多关于MQ的面试八股文中有这么一道题,“如何保证MQ消息消费的幂等性”。 为什么需要保证幂等性呢?是因为消息会重复消费。 为什么消息会重复消费? 明明已经消费了,为什么消息会被再次被消费呢?

weixin_50205273的博客 963

PSINS工具箱学习(四)捷联惯导更新算法

原始 Markdown文档、Visio流程图、XMind思维导图见:https://github.com/LiZhengXiao99/Navigation-Learning。

实践出真理,接毕设/课设项目开发指导 607

RocketMQ源码中,7种导致重复消费情况!

RocketMQ源码中,7种导致重复消费情况!

quixotic的博客 641

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Rocketmq如何保证消息不丢失,如何保证消息不被重复消费

1、消息整体处理过程 这里我们将消息的整体处理阶段分为3个阶段进行分析: Producer发送消息阶段。 Broker处理消息阶段。 Consumer消费消息阶段。 Producer发送消息阶段 发送消息阶段涉及到Producer到broker的网络通信,因此丢失消息的几率一定会有,那RocketMQ在此阶段用了哪些手段保证消息不丢失了(或者说降低丢失的可能性)。 手段一:提供SYNC的发送消息方式,等待broker处理结果。 RocketMQ提供了3种发送消息方式,分别是: 同步发送

meser88的博客 1万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

上一篇: Spring Boot + 规则引擎Drools,强!
下一篇: 你只会用 xxl-job?一款更强大、新一代分布式任务调度框架,很不错!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值