如何用 Redpanda + 本地事务,实现“发消息 + 写 DB” 的强一致性!

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档) 本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。 阅读详情

关注我,从零开始构建基础IT设施
作者:旷野说
定位:Spring Boot 开发者速查手册 + 高并发系统设计认知指南
关键澄清:在分布式系统中,“发消息 + 写 DB” 的强一致性无法靠“同步调用”实现,必须借助事务消息、本地事务表或 Redpanda 的幂等生产者 + 消费幂等的组合策略——没有银弹,只有权衡。


如何用 Redpanda + 本地事务,实现“发消息 + 写 DB” 的强一致性?

我是羅蘭。

在“最右”的打赏系统中,有一个看似简单却致命的需求:

“用户打赏成功后,必须 100% 保证:DB 有记录,且消息已发出。”

早期我们天真地这样写:

@Transactional
public void sendGift(GiftRequest req) {
    giftRecordMapper.insert(req); // 1. 写 DB
    redpandaTemplate.send("gift-sent", event); // 2. 发消息
}

结果呢?

  • DB 写成功,消息发送失败 → 消息丢失,下游无感知
  • 消息发成功,DB 提交失败(事务回滚)→ 消息重复,下游重复处理

“发消息 + 写 DB” 的原子性,成了资损的黑洞。

直到我们深入 Redpanda 的能力边界,结合本地事务表 + 定时扫表任务,才真正守住一致性底线——即使 Redpanda 宕机两小时,恢复后也能自动续发,零消息丢失。


一、为什么“同步发消息”不可靠?

Spring 的 @Transactional 只能管理 JDBC 事务,无法控制 Redpanda 的消息发送。

  • 消息发送在 DB 提交前:若网络超时,你无法知道消息是否真失败,重试可能造成重复。
  • 消息发送在 DB 提交后:DB 成功,但消息发送失败 → 消息永久丢失。

💡 根本矛盾:DB 与 Redpanda 是两个独立系统,无法跨系统原子提交。

我们必须换思路:不追求“一次成功”,而要“失败可重试 + 重试不重复”。


二、我们的方案:本地事务表 + Redpanda 幂等 + 消费幂等

步骤 1:建“消息事务表”(与业务同库)
CREATE TABLE `outbox_event` (
  `id` BIGINT AUTO_INCREMENT,
  `event_id` VARCHAR(64) NOT NULL COMMENT '唯一事件ID',
  `topic` VARCHAR(128) NOT NULL,
  `payload` JSON NOT NULL,
  `status` TINYINT NOT NULL DEFAULT 0 COMMENT '0=待发送, 1=已发送',
  `created_at` DATETIME DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_event_id` (`event_id`)
);
步骤 2:主流程:写 DB + 写消息表(同一个事务)
@Service
public class GiftService {

    @Transactional
    public void sendGift(GiftRequest req) {
        // 1. 扣款(Redis Lua 保证原子性)
        if (!diamondService.tryDeduct(...)) throw ...;
        
        // 2. 写打赏记录
        giftRecordMapper.insert(req);
        
        // 3. 写消息到本地事务表(同事务!)
        outboxEventMapper.insert(
            new OutboxEvent(UUID.randomUUID().toString(), 
                           "gift-sent", 
                           toJson(new GiftEvent(req)))
        );
    }
}

✅ 关键:消息与业务数据在同一个 DB 事务中,要么全成功,要么全失败。


三、消息积压在 DB,如何“恢复后自动续发”?

答案:一个独立的定时扫表任务(Polling-based Outbox Pattern)。

核心逻辑:
@Component
public class OutboxEventPublisher {

    @Scheduled(fixedDelay = 1000) // 每秒扫描
    public void pollAndPublish() {
        List<OutboxEvent> events = outboxEventMapper.findPending(100);
        for (OutboxEvent event : events) {
            try {
                // 发送到 Redpanda(幂等)
                redpandaTemplate.send(event.getTopic(), event.getPayload()).get(2, SECONDS);
                // 标记为已发送
                outboxEventMapper.markAsSent(event.getId());
            } catch (Exception e) {
                log.warn("发送失败,下次重试", e); // 失败则下次继续
            }
        }
    }
}
场景:Redpanda 宕机 2 小时
  • 期间:所有打赏仍正常处理,消息安全落在 outbox_event 表
  • 恢复后:扫表任务自动查出积压消息,逐条重试发送
  • 全程无需人工干预,系统自愈

✅ 这就是“消息积压在 DB,恢复后自动续发”的实现本质。


四、三重保险:确保“不丢不重”

风险防御措施
消息丢失本地事务表 + 扫表重试,保证“至少发一次”
消息重复Redpanda 幂等生产者 + 消费端幂等,保证“最多处理一次”
消费异常DLQ + 人工补偿 + 监控告警
1. Redpanda 幂等生产者(防重复发送)
spring:
  kafka:
    producer:
      enable-idempotence: true   # 幂等
      acks: all                  # 强一致
      retries: 2147483647        # 无限重试(安全)
2. 消费端幂等(最后一道防线)
@KafkaListener(topics = "gift-sent")
public void handleGiftEvent(GiftEvent event) {
    if (processedEventService.exists(event.getEventId())) return; // 已处理则跳过
    // 执行业务
    notificationService.push(...);
    processedEventService.record(event.getEventId()); // 标记
}

五、性能与可靠性优化

问题优化方案
扫表慢status + created_at 联合索引
空轮询多无积压时动态延长扫描间隔(1s → 5s)
主库压力批量发送 + 独立线程池
积压告警监控 status=0 的 count,超阈值告警

📌 我们的选择:不引入 CDC(如 Debezium),用扫表保持架构简单,单机支撑 5K TPS。


强一致性实现口诀(羅蘭实战总结)

同库事务写消息,
扫表异步保可达;
Redpanda 幂等防重发,
消费幂等守底线;
不求一次就成功,
但求重试不翻车。


结语:可靠,往往藏在“笨办法”里

在追求“流式”“实时”“事件驱动”的今天,一个简单的定时扫表任务,反而成了我们最信赖的“消息守门人”。

它不酷,但稳;
它不新,但可靠。

高并发系统的韧性,常常不在前沿技术里,而在这些“老派但有效”的设计中。

关注我,从零开始构建基础IT设施

通过两个mark点确定某一个点的位置 read_image (Image0, '0.bmp') binary_threshold (Image0, Region, 'max_separability', 'dark', UsedThreshold) connection (Region, ConnectedRegions) fill_up (ConnectedRegions, RegionFillUp) select_shape_std (RegionFillUp, SelectedRegions, 'max_area', 70) red... 阅读详情

相关推荐

手把手教你搭建三端口DC-DC变换器(含Boost+Buck电路实战)

本文详细介绍了如何从零开始搭建三端口DC-DC变换器,涵盖Boost和Buck电路的硬件设计、元器件选型、电路板布局、焊接技巧、控制系统设计与调试等关键步骤。通过实战案例和优化建议,帮助工程师避开常见陷阱,提升系统效率和稳定性,适用于光伏、储能等电力电子应用场景。

x8y9z0的博客 936

Redpanda:高性能流处理新星

Redpanda 是一个基于 Apache Kafka 的新兴分布式消息平台,以其高性能、可扩展性和成本效益脱颖而出,特别适合高吞吐量场景和中小型组织。它采用内存映射和云原生架构,每秒可处理 500,000 条消息,远超 Kafka 和 Confluent。Redpanda 的单二进制设计简化了管理,降低了运维成本,同时支持多租户架构和 Kubernetes 集成,适合物联网、金融等关键任务。相比之下,Apache Kafka 作为广泛使用的开源平台,具有高可靠性和丰富的生态系统,适合大型组织处理大规模实时

2501_90976089的博客 1463

Verilog流水线CPU设计(超详细)

快把这一篇给更了

Ace Cheney的博客 7万+

kafka替代者:Redpanda的架构及部署

read和write操作放入sq,这一步是异步的,然后应用程序可以去做别的事情,待kernel完成工作后,就将结果放入cq,应用程序需要检查io结果的时候就去cq中查即可。在这种模式下,因为有sq的存在,所以相当于系统调用是批量的,也就是内核处理io是批量的。而Thread-Per-Core架构就是为了解决这两个主要的问题,有几个core就建几个thread,而且将thread绑定到特定的core上,因为不会有更多的thread,所以尽可能的减少了context switch。阻塞了thread怎么办?

Free雅轩的博客 7241

ArcGIS标注(二分式、三分式、条件分类标注、上下标、牵引线、文字格式化…)

ArcGIS中的各种标注方法、可能遇到的问题和细节。

m0_73306837的博客 5277

Claude Code 实战指南:用 AI 玩转终端编程,效率狂飙!

本文介绍了终端 AI 代理工具 Claude Code,涵盖常用命令、使用方法(如 init 初始化、权限配置、工作流程、上下文管理)、MCP 扩展工具及实战案例,展示其通过自然语言辅助开发的高效性与实用性。

个人技术 1万+

HackTheBox -- RedPanda

HackTheBox——RedPanda(writeup)

weixin_52270928的博客 4860

基于 FPGA Vivado 信号发生器设计(附源工程)

今天给大侠带来基于 FPGA Vivado 信号发生器设计,开发板实现使用的是Digilent basys 3,如有想要入手basys3开发板的,可以联系牛总:18511371833。话不多说,上货。 本篇掌握基于 FPGA Vivado 信号发生器设计(附源工程),掌握基于添加文件和IP的Vivado工程设计流程,掌握基于Tcl的Vivado工程设计流程,学习信号发生器的基本组成结构。获取本篇相关源工程代码,可在公众号内回复“信号发生器设计源工程”。 设计原理 信号发生器...

7992

177.Agent-LangGraph-MCP的构成说明

MCP架构通过MCP主机、客户端与服务器的协同,实现工具、资源与提示词的统一管理。MCP服务器提供Tools、Resources、Prompts能力,MCP客户端则负责发现、调用与读取,使Agent可按需获取上下文。其核心在于将工具从Agent中抽离,封装为可复用的服务,提升灵活性与可维护性,推动AI应用高效协作。

计算机王的博客 313

2024年12月中国电子学会青少年软件编程(Python)等级考试试卷(五级)答案 + 解析

2024年12月中国电子学会青少年软件编程(Python)等级考试试卷(五级)答案 + 解析

伶俐角少儿编程 488

零基础学simulink仿真建模--基于Simulink进行近端策略优化(PPO)路径规划的仿真建模

特点高效性与稳定性:通过引入剪裁机制,在更新策略时限制步长,从而提高了训练过程的稳定性和效率。适用于多种动作空间:可以处理连续和离散的动作空间问题。无需模型:不需要预先知道环境的确切模型,适合复杂或未知环境。挑战收敛速度与稳定性:确保算法能够在合理的时间内找到近似最优解,并保持训练过程的稳定性。探索与利用平衡:在探索新路径和利用已知信息之间取得平衡。计算资源:对于大规模状态空间和动作空间,计算资源需求较高。首先明确要模拟的任务内容。目标(例如到达指定地点、避开障碍物等)。

amy_mhd的博客 252

Docker Compose:搭建本地多服务开发环境

从一个 Java API、PostgreSQL 和 Redis 开始,配置服务名、端口、环境变量、健康检查、数据卷和依赖关系。理解 Compose 文件如何被解析、项目如何隔离,以及哪些数据不能依赖“重建容器”保留,能够把个人开发环境整理成团队可复用的启动入口。

m0_62221377的博客 477

Python与ArcGIS系列(二)获取地图文档

在ArcPy中,要引用当前的地图文档(Map Document),可以使用 mapping 模块中的 MapDocument 类。值得注意的是,在arcgis内部python窗口运行该代码才能访问已加载进arcgis的文档,如果通过其他idle则无法访问。要引用磁盘上的地图文档并对其进行一些设置,同样可以使用ArcPy中的 mapping 模块和 MapDocument 类。对于我们平常的工作,接触最多的就是图层数据处理,获取图层后就可以方便地进行下一步处理。

weixin_43894929的博客 2201

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 440

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【基于 WebSocket 的多用户网页五子棋】—— 数据管理模块

但行好事,莫问前程

qq_42996461的博客 257

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 336

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

IDEA 简介:从零认识 IntelliJ IDEA

IDEA 全称,是由 JetBrains 公司开发的一款主流 Java 集成开发环境(IDE)。它集代码编辑、编译、调试、测试、版本控制、构建管理等功能于一体,被大量 Java 开发者视为日常开发的首选工具。所谓 IDE(Integrated Development Environment,集成开发环境),就是把写代码所需的各类工具整合到同一个界面中。相比只用文本编辑器加命令行编译,IDE 能显著减少重复操作,让开发者把精力集中在业务逻辑上。

ztI10的博客 183

TransactionInactiveError:await 之后事务已经不活跃了

TransactionInactiveError 出现于 IndexedDB 事务已结束(非 active 状态)时调用 put、get 等操作。常见于 await 后或 setTimeout 中执行请求,因任务已完成,事务已提交或进入 finished 状态。请求必须在创建事务的同一任务中挂起,否则无效。解决方法:在 onsuccess 回调内同步发起后续操作,或提前将所有请求挂入事务。避免在异步上下文中使用事务操作,确保请求在事务活跃期内完成。

qq_40822000的博客 159

Docker部署linkding:HTTPS与数据备份

部署私人书签库,除了让页面能够打开,还需要考虑几个实际问题:重建容器后数据是否保留、登录和保存是否正常、升级前怎样备份,以及出现 502 或 CSRF 错误时从哪里检查。本文使用 Docker Compose 部署 linkding,采用默认 SQLite 数据库,通过 Caddy 提供 HTTPS,并完成账户创建、数据持久化验证和备份。如果重建后账户或书签消失,应先检查是否换了项目目录、改了挂载路径,或者启动了另一套实例,不要急着重新初始化。遇到权限问题,应根据日志确认具体目录和运行用户,再调整权限。

tedcloud123的博客 191

云计算课程小组PPT汇报任务书

36人分为6组,每组6人;形式:生活案例调研 + 理论解读;汇报时长7‑9min;PPT建议10‑14页。

Michelle8023的博客 219

软件项目交付时,源代码之外还应该交付哪些技术资料?

软件项目交付时,除可运行程序外,还应核对源代码、数据库结构、接口文档、部署运维、测试验收和账号资产。本文从实际交付环节拆解完整资料清单,并说明合同如何约定交付范围、知识产权与维护边界。

chengduyoushu的博客 308

大表 ALTER TABLE 怎么做?NineData OnlineDDL 配置与执行实践

介绍NineData OnlineDDL大表变更实践,涵盖执行策略、切表控制、拷贝批次与可视化进度追踪。

dbasenewbie的博客 295

Axum 初步入门学习笔记

)自定义错误实现后,可以直接作为Result的ErrAxum 是一个构建在 Tokio、Tower、Hyper 之上的 Rust Web 框架,核心能力是:Router 路由、Extractor 提取器、Tower 中间件、IntoResponse 响应机制、State 共享状态。那张分层架构图是“地图”不是“说明书”:它帮你建立全局观,但 Service、Repository、数据库、Redis、MQ 都是你自己在 Handler 内部调用的业务/基础设施层,不是 Axum 自带的。

weixin_43219667的博客 203

MySQL报Too many open files?句柄耗尽的排查与参数配置

文章讲清 max_connections 与 open_files_limit 两个额度、句柄被谁占走、分区表为什么最容易踩,给出从 error log 到 /proc/pid/limits 的定位顺序与句柄预算算法。

「一个在数据库赛道上边学边分享的学妹」——聚焦国产数据库/信创方向、分享学习笔记、踩坑经验和行业观察。 338

SQL Server 数据库双备份:简化配置,兼顾本地留存与异机归档

本文针对中小企业SQLServer数据库备份难题,提出简化配置与本地+异机双副本方案。传统原生备份依赖手动脚本,存在配置复杂、传输易中断、日志分散、静默失败等问题。推荐使用图形化工具实现备份、本地留存与异机同步一体化管理,支持断点续传、加密传输、自动清理与版本控制,降低运维负担。双副本策略提升数据安全性,本地快速恢复,异地防硬件故障。建议定期验证恢复流程,确保备份可用性。

2501_93776716的博客 311

Redis 入门详解:核心特性、重要文件与全局命令实战

本文系统介绍了Redis的核心特性、重要文件及全局命令。Redis凭借内存存储、C语言实现和单线程设计,具备极高的读写性能;支持持久化(RDB/AOF)、主从复制与集群架构,适用于缓存、排行榜、计数器等场景,但不适合存储海量冷数据。文中还解析了常见面试题,如为何快速、单线程原理、持久化机制、KEYS *禁用原因及过期键处理策略,强调其在高并发场景下的优势与局限。

2303_77004089的博客 207
上一篇: 那年夏天,我们的“巨无霸”单体差点压垮整个平台
下一篇: 讲下 MyBatis 原理?
旷野说
博客等级 码龄9年 361粉丝 86原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值