RabbitMQ vs Kafka:正面交锋

APB Timer验证环境搭建——学习笔记(1) 以下为个人学习笔记,如有疏漏,请大家指正补充~~APB Timer是一个简单的下行计数器,包括一个32位计数器和一组比较器,可以实现多种计时功能。包括生成一次性中断或者定时中断。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

57e11ec9ec461a121889f72dd8be2273.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号等等功能:

  • Boot 地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 地址:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

来源:betterprogramming.pub/
rabbitmq-vs-kafka-1779b5b70c41


介绍

作为一名有着大量微服务系统处理经验的软件架构师,我经常遇到一个不断重复的问题:“我应该使用 RabbitMQ 还是 Kafka?”

出于某种原因,许多开发人员认为这些技术是可以互换的。虽然在某些情况下确实如此,但 RabbitMQ 还是 Kafka 之间存在根本上的差异。

因此,不同的场景需要不同的,选择错误的方案会严重影响我们的系统开发设计以及后续维护。

本系列的第 1 部分解释了 RabbitMQ 和 Apache Kafka 的内部实现概念。本文作为第二部分将继续回顾这两个消息平台之间的显著差异。

然后本文将继续向大家解释 RabbitMQ 和 Apache Kafka 内部实现,并评估它们之间的使用场景。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

RabbitMQ 和 Kafka 的显著区别

RabbitMQ 是一个消息代理中间件,而 Apache Kafka 是一个分布式流处理平台。这种差异可能看起来只是语义上的,但它会带来严重的影响,影响我们方便地实现各种系统功能。

例如 Kafka 最适合处理流数据,在同一主题同一分区内保证消息顺序,而 RabbitMQ 对流中消息的顺序只提供基本的保证。

不过 RabbitMQ 内置了对重试逻辑和死信交换的支持,而 Kafka 将此类逻辑实现留给了用户。

消息顺序
5ce2551e1b66ab0f823e3a372dbe3060.png

RabbitMQ 对发送到队列或交换器的消息的顺序性提供了很少的保证。虽然消费者按照生产者发送消息的顺序处理消息似乎很合理,但其实并不是这样。

RabbitMQ 文档声明了以下有关其消息顺序的内容:

❝

“在一个通道中发布的消息,经过一个交换机、一个队列和一个传出通道后,将按照发送的顺序被接收。” — RabbitMQ Broker Semantics

❞

换句话说,当我们只有一个消息消费者,它就会按顺序接收消息。然而一旦我们有多个消费者从同一个队列读取消息,我们就无法保证消息的处理顺序。

发生这种缺乏排序保证的情况是因为消费者可能会在读取消息后将消息返回(或重新传递)到队列(例如在处理失败的情况下)。

一旦消息返回,另一个消费者就可以拿起它进行处理,即使它已经消费了后面的消息。因此多个消费者之间无法有序处理消息,如下图所示。

c6e879ab36c34837339da6c439874336.png
使用 RabbitMQ 时丢失消息排序的示例

我们可以通过将消费者并发数限制为 1 来重新保证 RabbitMQ 中的消息顺序。更准确地说,单个消费者内的线程计数要限制为 1,因为任何并行的消息处理都可能导致消息乱序问题。

如果我们将自己限制为一个单线程消费者虽然能保证消息顺序,但这会严重影响我们系统扩展消息的处理能力,因此我们不应该轻易的这样做。

另一方面,Kafka 为消费者在消息处理时提供了可靠的排序保证。Kafka 保证发送到同一主题分区的所有消息都按顺序处理。

如果你还记得第 1 部分内容,默认情况下,Kafka 使用循环分区程序将消息放置在分区中。但是生产者可以在每个消息上设置分区键,以创建逻辑数据流(例如来自同一设备的消息,或属于同一租户的消息)。

来自同一数据流的所有消息都会被放置在同一分区中,从而使消费者组按顺序处理它们。

我们应该注意到,在消费者组中,每个分区都是由单个消费者的单个线程处理的。因此我们无法扩展单个分区的处理。

不过在 Kafka 中,我们可以扩展主题内的分区数量,从而使每个分区接收更少的消息,并为额外的分区添加额外的消费者。

赢家

Kafka 是明显的赢家,因为它允许消息按顺序处理。RabbitMQ 在这方面只有较弱的保证。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

消息路由

e010232743df8c32f73074996f5df005.png

RabbitMQ 可以根据订阅者定义的路由规则将消息路由到消息交换机的订阅者。

主题交换(topic exchange)可以基于名为 routing_key 的专用标头来路由消息。

标头交换(headers exchange)可以基于任意消息标头路由消息。这两种交换都有效地允许消费者指定他们有兴趣接收的消息类型,从而为架构师选择消息平台提供了极大的灵活性。

❝

  • exchange-headers 官网解释:https://www.rabbitmq.com/tutorials/amqp-concepts.html#exchange-headers

  • topic exchange 官网解释:https://www.rabbitmq.com/tutorials/amqp-concepts.html#exchange-topic

❞

Kafka 不允许消费者在轮询主题之前过滤主题中的消息。订阅的消费者无一例外地接收分区中的所有消息。

作为开发人员,你可以使用 Kafka 用于流作业,该作业从主题读取消息,过滤它们,然后将它们推送到消费者订阅的另一个主题。尽管也可以实现,但相比与 RabbitMQ 需要更多的努力和维护,并且需要更多的活动部件。

赢家

RabbitMQ 在路由和过滤消息供消费者使用时提供卓越的支持。

消息计时
136858e7599d722fe4df977343efdb3f.png

RabbitMQ 提供了有关延时消息发送到队列的各种功能:

消息生存时间 (TTL)

TTL 属性可以与发送到 RabbitMQ 的每条消息相关联。设置 TTL 可以由发布者直接完成,也可以作为队列本身的策略来完成。

指定 TTL 允许系统限制消息的有效期。如果消费者没有及时处理它,那么它会自动从队列中删除(并转移到死信交换,稍后会详细介绍)。

TTL 对于时间敏感但经过一段时间而没有处理后就变得无关紧要的命令特别有用。

延迟/定时消息

RabbitMQ 通过使用插件支持延迟/预定消息。当在消息交换上启用此插件时,生产者可以向 RabbitMQ 发送消息,并且生产者可以延迟 RabbitMQ 将此消息路由到消费者队列的时间。

此功能允许开发人员安排未来的命令,这些命令在此之前不应该被处理。例如当生产者遇到限制规则时,我们可能希望将特定命令的执行延迟到稍后的时间。

Kafka 不支持此类功能。当消息到达时,它将消息写入分区,消费者可以立即使用它们。

此外 Kafka 没有为消息提供 TTL 机制,尽管我们可以在应用程序级别实现一种机制。

我们还必须记住,Kafka 分区是一个仅追加的事务日志。因此它无法操纵消息时间(或分区内的位置)。

赢家

RabbitMQ 毫无疑问地赢得了这一项目的胜利。

消息保留

a93602ae2d7a3a91654a69e5a595cb46.png

一旦消费者成功消费消息,RabbitMQ 就会从存储中删除消息。此行为几乎是所有消息代理平台的一种设计,无法修改。

相比之下,Kafka 根据设计将所有消息保留至每个主题配置的超时时间。在消息保留方面,Kafka 不关心消费者的消费状态,因为它充当消息日志。

消费者可以根据需要消费每条消息,并且可以通过操纵分区偏移量“及时”来回移动。Kafka 会定期检查主题中消息的年龄,并驱逐那些足够老的消息。

Kafka 的性能不依赖于存储大小。因此从理论上讲,人们几乎可以无限期地存储消息,而不会影响性能(只要你的节点足够大来存储这些分区)。

赢家

Kafka 设计上就旨在消息保留,而 RabbitMQ 则不然。这里不需要竞争,Kafka 被宣布为获胜者。

故障处理

ed69295119ef0658a76c3ade3cca0508.png

在处理消息、队列和事件时,开发人员通常会认为消息处理总是成功。毕竟由于生产者将每条消息都放置在队列或主题中,即使消费者处理消息失败,它也可以简单地重试,直到成功为止。

虽然表面上确实如此,但我们应该对这个过程进行更多思考。我们应该承认,消息处理在某些情况下可能会失败。我们应该优雅地处理这些情况,即使部分情况下需要人为干预。

处理消息时可能出现两类错误:

  • 瞬时故障 — 由于临时问题(例如网络连接、CPU 负载或服务崩溃)而发生的故障。我们通常可以通过一遍又一遍地重试来缓解这种失败。

  • 持续性故障 — 由于无法通过额外重试解决的永久性问题而发生的故障。这些失败的常见原因是软件错误或无效的消息模式(即有害消息)。

作为架构师和开发人员,我们应该问自己:“消息处理失败时我们应该重试多少次?两次重试之间应该等待多长时间?我们如何区分暂时性故障和持续性故障?”

最重要的是:“当所有重试都失败或遇到持续失败时,我们该怎么办?”

虽然这些问题的答案是特定于领域的,但消息传递平台通常为我们提供解决工具。

RabbitMQ 提供了传递重试和死信交换 (DLX) 等工具来处理消息处理失败。

DLX 的主要思想是 RabbitMQ 可以根据适当的配置自动将失败的消息路由到 DLX,并在此交换中对消息应用进一步的处理规则,包括延迟重试、重试计数以及交付给“人工干预”队列。

下文提供了有关在 RabbitMQ 中处理重试的可能模式的更多见解。

❝

https://engineering.nanit.com/rabbitmq-retries-the-full-story-ca4cc6c5b493?gi=3b2440cf4efd

❞

这里要记住的最重要的事情是,在 RabbitMQ 中,当消费者忙于处理和重试特定消息时(甚至在将其返回到队列之前),其他消费者可以并发处理该消息之后的消息。

当特定消费者重试特定消息时,整个消息处理不会被卡住。因此消息使用者可以根据需要同步重试消息,而不会影响整个系统。

ae855ca496dd4bd3f7ce8540058a2b03.png
消费者1可以继续重试消息1,而其他消费者则继续处理消息

与 RabbitMQ 相反,Kafka 不提供任何开箱即用的此类工具。对于 Kafka 我们需要在应用程序中提供和实现消息重试机制。

另外我们应该注意,当消费者忙于同步重试特定消息时,无法处理来自同一分区的其他消息。

我们无法拒绝并重试特定消息并提交该消息之后的消息,因为消费者无法更改消息顺序。正如你所记得的,分区只是一个仅追加日志。

有一种类型的解决方案是应用程序可以将失败的消息提交到“重试主题”并从那里处理重试,不过这样我们就会失去了消息的顺序性。

Uber 工程部提供了解决此类问题的示例,可以在 Uber.com 上找到。如果消息处理的延迟不是问题,那么使用普通 Kafka 可能就足够了。

❝

Uber.com 地址:https://eng.uber.com/reliable-reprocessing/

❞

f2971c983096bb60a07f1546a903e67d.png
如果消费者在重试消息时遇到困难,则不会处理底部分区中的消息
赢家

RabbitMQ 是该项目上的赢家,因为它提供了一种开箱即用的解决此问题的工具。

扩展性

2f5176f99ac9ecae538815d750ffdfcf.png

有多个基准测试可以测试 RabbitMQ 和 Kafka 的性能。

虽然通用基准测试对特定情况的适用性有限,但 Kafka 通常被认为比 RabbitMQ 具有更好的性能。Kafka 使用顺序磁盘 I/O 来提高性能。

它使用分区的架构意味着它的水平扩展(横向扩展)比 RabbitMQ 更好,而 RabbitMQ 的垂直扩展(纵向扩展)更好。

大型 Kafka 的集群部署通常每秒可以处理数十万条消息,甚至每秒处理数百万条消息。

过去的时间里,Pivotal 团队发布了 RabbitMQ 集群可以每秒处理 100 万条消息的文章如下。然而它是在 30 个节点的集群上实现的,负载以最佳方式分布在多个队列和交换器上。

❝

RabbitMQ Hits One Million Messages Per Second on Google Compute Engine,地址:https://tanzu.vmware.com/content/blog/rabbitmq-hits-one-million-messages-per-second-on-google-compute-engine

❞

典型的 RabbitMQ 部署包括三到七个节点集群,这些节点集群不一定能最佳地分配队列之间的负载。这些典型的集群通常只能每秒处理数万条消息的负载。

赢家

虽然这两个平台都可以处理大量负载,但 Kafka 通常比 RabbitMQ 具有更好的扩展性,并且可以实现更高的吞吐量,从而赢得了这一轮。

然而值得注意的是,大多数系统都不会达到每秒上万的消息处理量!因此除非你正在构建下一个拥有数百万用户的热门软件系统,否则你不需要太关心扩展性,因为这两个平台都可以很好地为你服务。

消费者复杂性

b589ee2dab316616ff0da32fb8ad8ead.png

RabbitMQ 使用智能代理人(smart-broker)和愚蠢消费者(dumb-consumer)的方法。消费者注册到消费队列上,RabbitMQ 会在消息进入时向它们推送消息以进行处理。RabbitMQ 消费者还具有主动拉取的功能。不过它使用的比较少。

RabbitMQ 自动向消费者分发消息以及从队列(可能是 DLX)中删除消息。消费者无需担心这些。

RabbitMQ 的结构还意味着,当负载增加时,队列的消费者组可以有效地从一个消费者扩展到多个消费者,而无需对系统进行任何更改。

45dfb3dfd43fb22d6ba470554479863d.png
RabbitMQ 消费者有效地扩展和缩小

另一方面,Kafka 使用愚蠢代理人(dumb-broker)和聪明消费者(smart-consumer)的方法。消费者组中的消费者需要协调它们之间主题分区的约定(以便消费者组中只有一个消费者监听特定分区)。

消费者还需要管理和存储其分区的偏移索引。幸运的是 Kafka SDK 为我们处理了这些,所以我们不需要自己管理。

不过当我们的负载较低时,单个消费者需要并行处理和跟踪多个分区,这需要消费者端有更多的资源。

此外,随着系统负载的增加,我们只能将消费者组的消费者数量扩大到等于主题中分区数量的程度。不过我们可以通过增加分区数来增加消费者数。

当系统负载减少时,我们无法删除已经添加的分区,从而浪费了消费者资源。

6cd737985470e11daa56ad01230c4f40.png
Kafka分区无法删除,缩减规模后留给消费者更多的工作
赢家

RabbitMQ 在设计上就是为愚蠢消费者(dumb-consumers)而设计的。所以它成为了这一轮的胜利者。

何时使用哪个?

2cc630550525d0257fe7c5cf9e213188.png

现在我们面临一个价值百万美元的问题:“我们什么时候应该使用 RabbitMQ,什么时候应该使用 Kafka?”

如果我们总结以上差异,我们将得出以下结论:

一般情况下,RabbitMQ 是更好的选择:

  1. 先进灵活的路由规则。

  2. 消息计时控制(控制消息过期或消息延迟)。

  3. 高级故障处理功能,以防消费者无法处理消息(暂时或永久)。

  4. 更简单的消费者实现。

当我们需要以下条件时,Kafka 是更好的选择:

  1. 严格的消息排序。

  2. 消息保留较长时间,包括重放过去消息的可能性。

  3. 当传统解决方案无法满足我们对扩展性的需求时,Kafka 能够达到较高的规模。

我们可以使用这两个平台来用于大多数软件系统。然而作为架构师,我们有责任选择最适合这个系统的工具。在做出这种选择时,我们应该考虑如上所述的功能差异和非功能限制。

这些非功能限制包括:

  1. 当前平台的现有开发人员掌握知识。

  2. 托管云解决方案的可用性(如果适用)。

  3. RabbitMQ 和 Kafka 的运营成本。

  4. 我们的目标技术栈中 SDK 的可用性。

在开发复杂的软件系统时,我们可能会倾向于只使用一个消息平台来实现所有必需的消息传递功能。然而根据我的经验,在同一个系统中,同时使用这两个消息平台会带来很多好处。

例如在基于事件驱动架构的系统中,我们可以使用 RabbitMQ 在服务之间发送命令,再使用 Kafka 来实现业务事件通知。

原因是事件通知通常用于事件溯源、批量操作(ETL 样式)或审计目的,因此 Kafka 的消息保留功能非常有价值。

命令通常需要在消费者端进行额外的处理,这些处理可能会失败并且需要高级的故障处理功能,这适用于 RabbitMQ。

最后

我开始写这两篇文章系列的初衷是,许多开发人员认为 RabbitMQ 和 Kafka 是可以互换的。我希望大家看到这两篇文章后,能更加深入了解这些消息平台的内部构造以及它们之间的技术差异。这些差异反过来又会影响这些消息平台所服务的系统。RabbitMQ 和 Kafka 都很棒,可以适用于多种系统。

最后作为架构师,我们有责任了解每个系统的需求,确定其优先级,并选择最合适的解决方案。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

66cb140955fe53335b25ecb470bc7fa5.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

54f02167729a89449d97f550922019ee.png

efa5166869d8fa28921bfcf3dcaa03e1.png0c7efd30cd8a243340e06353f76c13ed.png7c1fbfd1c221b74137ef103f6f0e3d81.pngdc32a579575fa22280d05cd6595d780f.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
USART+DMA+循环队列接收不定长数据 GD32F130之FreeRTOS环境下USART+DMA接收不定长数据 阅读详情

相关推荐

解决屏幕不亮难题:慷智SerDes DE信号极性配置避坑指南

本文深入探讨了基于慷智AIM95x系列SerDes芯片的嵌入式显示系统开发中,因DE信号极性配置不匹配导致屏幕不亮的典型故障。文章详细解析了DE信号的核心作用与极性定义,提供了慷智SerDes芯片中DE极性寄存器的具体配置方法与调试记录,并给出了从隔离问题、对比时序到波形验证的系统性排查流程,帮助工程师快速定位并解决此类隐蔽问题。

weixin_29185493的博客 146

RabbitMQ vs Kafka:正面交锋!

作为一名有着大量微服务系统处理经验的软件架构师,我经常遇到一个不断重复的问题:“我应该使用 RabbitMQ 还是 Kafka?出于某种原因,许多开发人员认为这些技术是可以互换的。虽然在某些情况下确实如此,但 RabbitMQ 还是 Kafka 之间存在根本上的差异。因此,不同的场景需要不同的,选择错误的方案会严重影响我们的系统开发设计以及后续维护。本系列的第 1 部分解释了 RabbitMQ 和 Apache Kafka 的内部实现概念。本文作为第二部分将继续回顾这两个消息平台之间的显著差异。

Java技术栈,分享最主流的Java技术 1062

利用ArcMap实现遥感图像语义分割标注的完整流程解析

本文详细解析了利用ArcMap进行遥感图像语义分割标注的完整工作流。从工程创建、数据导入、SHP文件创建,到实战勾画地物、要素转栅格,再到最终的裁剪对齐,提供了每一步的关键操作与避坑指南。该方法特别适合处理大尺寸、带地理坐标的遥感影像,能高效产出精准对齐的图像-标签对,为后续深度学习模型训练奠定可靠的数据基础。

gpu4optimizer的博客 1222

Docker Compose 模块化多环境配置规范指南:示例搭建RabbitMQ 4.4.0-management

本文介绍Docker Compose模块化多环境配置规范,以RabbitMQ 4.4.0-management为例,采用双层配置隔离:根目录.env管理全局变量(如环境、网络),服务私有.env定义版本、密码、端口等专属参数。通过环境目录物理隔离(dev/test/prod),实现配置与数据的可移植性与安全性,支持一键部署与迁移。

郝开的博客 122

Python学习24:中国古代数学问题——物不知数(Python123)

意思是说有一些物品,不知道有多少个,3个3个数的话,还多出2个;5个5个数则多出3个;7个7个数也会多出2个。题目为‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬‬:今有物不知其数,三三数之剩二,五五数之剩三,七七数之剩二,问物几何?现假设物品总数不超过n (n

weixin_60530224的博客 2万+

5分钟搞定单细胞marker基因气泡图:scDotPlot保姆级教程(含Seurat适配)

本文提供了一份详细的scDotPlot R包使用教程,帮助用户在5分钟内完成单细胞marker基因气泡图的绘制。教程涵盖环境准备、Seurat和SingleCellExperiment对象的适配处理、进阶可视化技巧及自动化报告生成,特别适合生物信息学新手和临床研究者快速掌握这一高效的可视化工具。

weixin_29047545的博客 265

【RabbitMQ】认识RabbitMQ

本文系统介绍MQ消息队列的核心概念、四大作用(异步解耦、流量削峰、消息分发、延迟通知)及主流产品对比,重点讲解RabbitMQ的安装部署、核心组件(生产者、消费者、交换机、队列、虚拟主机)与AMQP协议原理,并通过Java原生客户端实现简单消息通信,适用于中小型项目快速上手。

记录了从0学习Java技术栈的日常 200

uniapp - HBuilder提示adb: failed to install X Failure [INSTALL_ARSE_FAILED_NOT_APK:X(安装HBuilder调试基座失败)

安装HBuilderX调试基座失败,uniapp APP运行到手机adb: failed to install,Uniapp提示adb,uniapp ios 真机调试报错 uniapp安卓调试,Uniapp安装不了基座,手动安装基座,正在安装手机端HBuilder调试基座,点击运行到手机报错信息:基座无法正常安装,Uniapp-安装HBuilder调试基座失败解决方案,解决 HBuilderX 安卓基座安装失败的问题,显示adb报错,UniApp苹果真机运行调试(自定义基座,版本更新后/没有基座打开失败)如

🏆 前端领域优质创作者 8065

消费回调固定 return nil:错误传播与 Kafka 位点提交的区别

Mongo 写入失败时处理器记录错误但不 Mark,外层回调仍返回 nil;返回值与 Kafka 位点提交是不同动作。失败消息是否重投或被后续位点越过,需要结合分区水位分析。

2501_92769340的博客 203

微信小程序 - 详细解决map地图上使用自定义图标图片或自定义样式进行markers标记点,手机真机运行时安卓系统、苹果ios系统会出现不显示标记点的问题(大概率安卓正常显示标记点,但苹果就加载失败)

微信小程序,map,地图组件,安卓android,苹果ios,真机调试,marker,标记点,在地图上标记,突然就不显示白屏了没动代码,自定义标记点icon,label动态数字,小程序地图markers标记点显示不出来,微信小程序map组件,地图加载后marker标记点ios设备不显示,android正常显示,添加多个标记点。安卓能正常显示标记点图标,IOS设备不显示标记点图标,map地图白屏不显示标记,图标真机调试不显示,自定义图标,报错,页面白屏,不报错也不显示,无法加载,图片展示不出来,iconPat

✅ 精选推荐文章 5956

电子电器架构刷写方案——General Flash Bootloader

### 文章大体有如下内容: ### 1、简介 ### 2、刷写系统概述 ### 3、Flash Bootloader刷写流程 ### 4、Flash Bootloader架构介绍 ### 5、关于刷写的思考

Soly_kun的博客 2214

第十二篇:《完整实战:订单事件驱动系统(Kafka + 消费者 + 死信队列)》

这篇按一条完整的订单链路来搭:订单服务写库 + 发事件,库存服务消费并扣减,失败走指数退避重试,重试耗尽后进入死信队列,消费端全程幂等去重。Outbox 的 relay 是至少一次,DLQ 的重试也是至少一次。重试消费组的 Lag 速率:order-events.retry 的消费 lag 如果持续增长且不回落,说明重试没有收敛,可能正在走向“重试爆炸”的早期形态。retries=MAX_VALUE 配合幂等生产者,解决的是生产者重试导致的 Broker 端重复,不解决消费端业务重复——后者是下一节的事。

qq_45239623的博客 422

ITKMontage---ITK自动拼接模块

本文分享ITK中Remote中的ITKMontage拼接模块,希望对各位小伙伴有所帮助!1. ITKMontage介绍在医疗图像处理过程中,图像拼接有很多用处,比如DR图像的拼接。ITKMontage可以快速稳定的处理数据量较大的拼接图像。强度不均匀性校正配准全局优化融合2. ITKMontage安装ITKMontageITKMontage可脱离ITK进行单独安装,也可在ITK安装时作为模块进行安装。单独安装ITK模块安装在ITK编译时,选择ITKMontage模块。

qq_40041064的博客 451

Flink 连接器选型实战:HDFS、Kafka、MySQL 与 Doris 的分层数据架构

连接器选型不是技术炫技,而是对数据特征的准确判断。HDFS承担离线归档与批处理,靠分区和滚动策略控制文件质量。Kafka是实时链路的中枢,靠分区、攒批和事务保证吞吐与一致性。MySQL只做维表和小结果集,靠缓存和限流保护在线库。Doris承接大数据量分析写入,靠分桶、攒批和两阶段提交保证性能与准确。把这四者按数据规模、延迟要求和一致性要求分层组合,就能搭出一套既稳定又可扩展的 Flink 数据架构。

2401_83857914的博客 902

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Kafka 的 auto-commit 给你的不是 at-least-once,是 at-most-once

有一段消费者代码,几乎所有团队都写过:poll 到消息,处理,写库,然后提交 offset。看起来没问题。库里有一条,offset 往前一格,一一对应。把它放到真实的故障模型里跑一遍,会发现有两个窗口,任意一个被撞上,数据就不对了。重启后从上一个已提交的 offset 继续,这条消息被重放,库里写第二遍。如果这次写是,钱就多了一百。这个窗口通常更短,但在批量提交、异步写、连接池排队的情况下真实存在。进程挂掉重启,从新 offset 开始,这条消息永远不会再来。库里少一条,没有任何报错。

zsTang123的博客 212

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Kafka 中 Zookeeper 的作用?

老版Kafka依赖ZooKeeper实现分布式协调,利用其临时节点和Watcher机制完成Broker注册、Controller选举、元数据存储及消费者组管理。但ZK带来运维复杂、性能瓶颈与容量限制。自Kafka 2.8引入KRaft协议,以内置Raft共识取代ZK,将元数据存于__cluster_metadata主题,实现更高效、易维护的元数据管理,3.5版本起正式废弃ZK模式。

angel_tor的专栏 267

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

只 Mark 最后一条:Kafka 跨分区消费水位的风险

历史快照中两个分区重启后 lag 为 1;当前批次回调只 Mark 最后一条,可能漏记其他分区的进度,但快照不足以证明永久停滞或唯一根因。

2501_92769340的博客 209

Kafka 消费者每 5 分钟触发一次 Rebalance,把 max.poll.interval.ms 调大仍然掉线

消费者加入消费组后每约 5 分钟被踢出一次。文中命令与代码块可直接复制执行,未实测的结论均已单独标注。文中给出了可复现的环境与操作步骤,并标注了哪些结论已经验证、哪些仍属推测。

昨日种种,皆成今我。今日种种,皆成新我。 209

第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》

RocketMQ 采用 CommitLog 全局顺序写 + ConsumeQueue 索引的存储模型,解决 Kafka 多 Topic 场景下跨 Partition 随机写问题。CommitLog 存所有消息,保证写入顺序;ConsumeQueue 为每 Topic+Queue 的 20 字节索引(偏移量、长度、Tag 哈希),支持消费者“读两次”定位消息。虽有读放大与异步重建代价,但通过顺序写与 mmap 零拷贝实现高性能,本质是用索引换写入可扩展性。

qq_45239623的博客 286

Kafka 生产实践指南:使用要点、性能优化与运维维护

Kafka 的稳定运行,既依赖开发侧对可靠性、幂等性、顺序性和分区设计的正确使用,也依赖运维侧完善的监控、巡检和应急体系。用对:生产者保证不丢、消费者保证幂等、分区设计兼顾并行与顺序。调优:从批量、压缩、线程、页缓存、JVM 等维度持续优化吞吐与延迟。养好:建立监控告警、定期巡检、规范变更和应急预案,把问题消灭在爆发之前。只有开发与运维协同,才能让 Kafka 在高并发场景下真正成为可靠的消息基础设施。

飞奔的瓜牛的专栏 339

Kafka消息可靠性问题全景

Kafka 消息可靠性不是靠单一配置解决的,而是 Producer(acks+幂等)→ Broker(副本+ISR)→ Consumer(手动提交+幂等处理)三层防线协同。追求零丢失必然带来重复,追求严格顺序必然牺牲并行度——根据业务容忍度做取舍才是正解。

qq_39883927的博客 146

Kafka 如何保证消息不丢失?

Kafka消息丢失仅发生在生产、存储、消费三环节。防丢需“三端三手”:生产者用acks=all+重试+回调,确保发送可靠;Broker配置replication.factor>=3、min.insync.replicas>=2、禁用脏选举,保障副本同步;消费者关闭自动提交,手动提交offset,先处理后提交。核心逻辑:发得稳、存得牢、提得晚。追问点包括参数联动(如acks与min.insync)、幂等性与重复消费权衡,体现真实生产经验。

387

kafka常见问题汇总

按「现象 → 定位 → 处理」整理。

qq_38636133的博客 333

Kafka

Apache Kafka 最初由 LinkedIn 开发,现为Apache顶级项目。分布式消息队列(流处理),泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Kafka 集群由一个或多个服务器(broker)组成,每个 Broker 负责存储消息并处理客户端(生产者和消费者)的读写请求。分区会分布在集群中的各个 Broker 上,每个 Broker 都可能是某些分区的 Leader,同时是另一些分区的 Follower,以此实现负载均衡。消息按类别归入不同的 Topic。

225
上一篇: Git 不要只会 pull 和 push,试试这 5 条提高效率的命令!
下一篇: 微服务三十三问,两万字图文详解
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值