用 Redis + Lua 守住打赏原子性:我在单体系统中的微观实践(续)

机器学习系统可靠性工程:从模型上线到生产韧性建设 机器学习系统在生产环境中并非静态算法,而是嵌入业务流水线的动态组件。其核心挑战在于数据漂移、特征管道断裂、服务集成失配与治理缺位等非算法风险——这些因素导致78%的线上故障与模型本身无关。构建高可靠ML系统需以SRE工程思维重构部署流程,通过特征SLA契约、请求幂等性设计、全路径可观测兜底等机制保障服务韧性;同时依托分层延迟预算、多粒度漂移检测、对抗鲁棒性验证与区块链级模型血缘追踪,实现可监控、可解释、可审计、可回溯的决策基础设施。本文聚焦金融级ML生产实践,覆盖模型上线后的全生命周期稳定性保障。 阅读详情

作者:旷野说
定位:Spring Boot 开发者速查手册 + 高并发系统设计认知指南
关键澄清:Redis Lua 不是“炫技”,而是高并发交易场景下守住原子性的最后一道微观防线;脚本管理、调试与集成效率,直接决定系统能否在资损边缘稳住阵脚。


用 Redis + Lua 守住打赏原子性:我在单体系统中的微观实践

在“C 端”的打赏系统里,我们曾因“先查余额再扣款”的非原子操作,导致用户被多次扣款。
那一刻我明白:高并发下的业务完整性,不能靠“事务”包打天下,而要下沉到 Redis + Lua 的原子执行层。

今天,我就以“用户赠送心动钻石”为例,手把手带你搭建一套 “脚本可管、逻辑原子、高并发安全” 的 Lua 实践体系——从 IDEA 编写到 Spring Boot 集成,再到压测兜底,全部落地于单体应用。


一、为什么非得用 Lua?——因为“快”和“对”必须兼得

很多人问:“用 @Transactional 不行吗?”

在低频场景可以。但在打赏这种 5000+ QPS 的高频交易中,DB 会成为瓶颈,而“查 → 判 → 扣”三步网络往返,哪怕 1ms 延迟,也会在并发下放大成超卖。

Redis + Lua 的优势:

  • ✅ 单线程执行:整个脚本原子执行,无中间态
  • ✅ 零网络往返:逻辑在 Redis 内部完成
  • ✅ 逻辑内聚:防重、扣款、记日志一步到位

💡 典型原子单元:
“若用户未打赏过此礼物 → 扣钻石 → 记录流水 → 返回成功”


二、项目结构:让 Lua 脚本“可维护、可追溯”

我们把脚本当作一等公民管理,而非硬编码字符串:

src/
└── main/
    ├── java/
    │   └── com.zuiyou.gift.service.GiftService.java
    └── resources/
        └── lua/
            ├── deduct_diamond.lua      <-- 扣钻石原子脚本
            └── claim_gift_idempotent.lua  <-- 幂等领取

✅ 好处:

  • Git 可追踪变更
  • 支持 IDE 语法高亮
  • 单元测试可直接加载

三、IDEA + EmmyLua:让 Lua 像 Java 一样好写

虽然 Lua 脚本不编译,但写错一个 end 就会导致运行时失败。

我们的做法:

  1. 安装插件:IDEA → Marketplace → 搜索 EmmyLua
  2. 获得:
    • 语法高亮
    • 括号自动补全
    • 函数跳转(配合注释)
  3. 不追求“运行”,但确保“写对”

📌 提醒:别在 Java 字符串里拼 Lua!维护成本极高,且无法格式化。


四、Maven:为 Lua 脚本加上“语法守门员”

Lua 脚本虽不参与编译,但上线前必须语法校验。我们用 Maven 插件在 process-resources 阶段自动检查:

<plugin>
  <groupId>org.codehaus.mojo</groupId>
  <artifactId>exec-maven-plugin</artifactId>
  <version>3.1.0</version>
  <configuration>
    <executable>luac</executable>
    <workingDirectory>${project.basedir}/src/main/resources/lua</workingDirectory>
    <arguments>
      <argument>-p</argument> <!-- 仅解析,不生成字节码 -->
      <argument>deduct_diamond.lua</argument>
    </arguments>
  </configuration>
  <executions>
    <execution>
      <phase>process-resources</phase>
      <goals><goal>exec</goal></goals>
    </execution>
  </executions>
</plugin>

✅ 效果:

  • mvn clean package 时自动校验
  • 语法错误直接构建失败,不让问题进测试环境

⚠️ 需在 CI/CD 机器安装 luac,或用 Docker 容器执行校验。


五、Spring Boot + Redisson:安全加载与执行

我们选用 Redisson(非 Jedis/Lettuce),因其对 Lua 脚本支持最完善。

1. 依赖
<dependency>
  <groupId>org.redisson</groupId>
  <artifactId>redisson-spring-boot-starter</artifactId>
  <version>3.27.2</version>
</dependency>
2. Lua 脚本(resources/lua/deduct_diamond.lua)
-- KEYS[1]: user_balance_key (e.g., "balance:123")
-- KEYS[2]: claimed_set_key   (e.g., "gift:claimed:gift_001")
-- ARGV[1]: user_id
-- ARGV[2]: amount
-- ARGV[3]: gift_id

-- 防重:已领取?
if redis.call('SISMEMBER', KEYS[2], ARGV[1]) == 1 then
    return 0
end

-- 扣余额
local balance = tonumber(redis.call('HGET', KEYS[1], ARGV[1]))
if not balance or balance < tonumber(ARGV[2]) then
    return -1  -- 余额不足
end

redis.call('HINCRBY', KEYS[1], ARGV[1], -tonumber(ARGV[2]))
redis.call('SADD', KEYS[2], ARGV[1])
redis.call('EXPIRE', KEYS[2], 86400)

return 1  -- 成功
3. Java 服务层
@Service
public class DiamondService {

    private final RedissonClient redisson;
    private final RScript script;

    public DiamondService(RedissonClient redisson) {
        this.redisson = redisson;
        // 从 classpath 安全加载脚本
        String lua = ResourceUtil.readUtf8Str("lua/deduct_diamond.lua");
        this.script = redisson.getScript(StringCodec.INSTANCE);
    }

    public boolean tryDeduct(Long userId, int amount, String giftId) {
        String balanceKey = "balance:" + userId;
        String claimedKey = "gift:claimed:" + giftId;

        Boolean result = script.eval(
            RScript.Mode.READ_WRITE,  // 保证主从同步安全
            lua,
            Arrays.asList(balanceKey, claimedKey),
            userId.toString(), String.valueOf(amount), giftId
        );

        return Boolean.TRUE.equals(result);
    }
}

✅ 关键设计:

  • READ_WRITE 模式:写操作必须走主库,避免主从延迟导致不一致
  • 脚本预加载:Redisson 自动缓存 SHA,避免重复传输
  • 防重 + 扣款 + 过期 一体化,杜绝超发

六、高并发下的兜底措施(我们踩过的坑)

仅写对 Lua 还不够,还需运行时防护:

问题解法
脚本执行慢监控 Redis SLOWLOG,Lua 逻辑必须 O(1)
Redis 宕机降级走 DB(SELECT FOR UPDATE),但限流至 100 QPS
脚本 Bug所有操作写入 gift_log 表,供对账补偿
Key 冲突用 gift:{env}:claimed:{giftId} 隔离多环境

七、调试技巧:在资损前发现问题

  1. 本地 Redis 启动时加 --loglevel verbose,查看 Lua 执行日志
  2. 在 Lua 中加调试日志:
    redis.log(redis.LOG_WARNING, "User " .. ARGV[1] .. " deduct " .. ARGV[2])
    
  3. 单元测试:用 embedded-redis 启动内存实例,验证边界条件
    @Test
    void testInsufficientBalance() {
        // SET balance:123 100
        // 调用 tryDeduct(123, 200, "gift_001")
        // 断言返回 false
    }
    

Redis Lua 实践口诀(我的血泪总结)

脚本独立管,IDE 高亮看;
Maven 守语法,上线不翻船;
Redisson 加载稳,READ_WRITE 保主从;
防重扣款一体成,原子性在 Redis 中;
慢日志要监控,降级兜底不能松。


结语:微观决定成败

在高并发系统中,一个 Lua 脚本的健壮性,可能比十个微服务拆分更重要。
我们没有一上来就“上云上中台”,而是在单体内部,把 Redis Lua 做到极致——

  • 脚本可维护
  • 执行可监控
  • 异常可补偿

结果:打赏资损率连续 18 个月为 0。

高并发的可靠性,不在宏大的架构图里,而在每一行 Lua 脚本的严谨中。

如需“幂等打赏”“限量抢购”等具体 Lua 示例,欢迎留言交流!

ArcGIS 10.2.2自带Python 2.7.5环境配置全攻略:从pip安装到gdal、arcpy调用 本文详细指导如何在ArcGIS 10.2.2自带的Python 2.7.5环境中进行高效配置。核心内容包括安装pip包管理器、部署gdal等关键地理数据处理库,并确保arcpy模块的无缝调用。通过解决路径配置与PyCharm集成问题,帮助用户在此经典环境中构建稳定、兼容的地理信息自动化工作流,有效连接ArcGIS桌面功能与Python脚本编程。 阅读详情

相关推荐

ADS 使用教程(一)Workspace, Library and Cell

简要介绍ADS的基本内容

Dirge19的博客 6620

从单体扛百万并发:我在社交打赏系统中的微观优化实战

本文分享了单体架构应对高并发场景的优化实战经验。作者通过社交打赏系统案例,指出高并发瓶颈往往源于微观设计缺陷,而非架构形态。核心优化策略包括:1)使用Redis+Lua实现原子操作,解决并发扣减问题;2)异步化处理DB操作,解耦核心路径;3)建立对账机制保障最终一致性;4)精细化异常处理和容器选型。实践表明,通过这四大微观优化,单体应用可稳定支撑百万级并发,相比盲目拆分微服务更具性价比。文章强调高并发优化应始于微观层面的精准控制,而非架构层面的过度设计。

Talbot3的笔记 622

word2vector入门教程

摘要: 网上已经有许多对w2v的介绍了,这里只是做一个简单的概括。下面这篇文章我认为是关于W2V写的比较好的文章,读者有兴趣可以先参考一下: w2v参考文章1 另外一篇是关于Skip-Gram和CBow的介绍。 Skip-Gram&CBOW 逻辑比较清晰的综述文章: 综述文章 数学原理很清晰很短的一篇文章(也有关于负采样的简单说明) 参考文章 1.什么

SCUT_Sam 1万+

每天认识一个组件:Redis

Redis 是一个以内存为主要数据存储介质的数据结构服务器。它既可以用作缓存,也可以承担计数器、排行榜、会话存储、分布式协调、消息传递和实时数据处理等职责。

weixin_47983718的博客 374

ADS学习笔记 2. 低噪声放大器设计

ADS学习笔记 2. 低噪声放大器设计。设计了一个中心频率433MHz,增益18.206dB,NF=0.134dB,S11带宽较好的低噪声放大器

u014087103的博客 9515

欧姆龙SYSMAC STUDIO如何与基恩士SR-1000进行EIP通信

简要介绍一下扫码枪和欧姆龙sysmac的配置

weixin_42031602的博客 4799

【计算基础|Redis12】数据库与缓存一致性

本文系统解析数据库与缓存一致性问题,核心指出:双写必然存在时间窗口,导致不一致。重点剖析Cache Aside策略,推荐“先更新DB再删缓存”以缩小不一致窗口,并辅以TTL兜底。对比四种更新策略,强调99%场景适用Cache Aside。针对“先删缓存后更新DB”陷阱,提出延迟双删补丁但不推荐生产使用。最终明确:展示类数据用最终一致(缓存+TTL),强一致场景(如库存、金额)需用分布式锁或直接走DB。最后介绍通过Canal订阅binlog实现缓存自动刷新,从源头避免人为遗漏。

花间相见的博客 214

基于PID算法的循迹小车

这一期为创客们带来基于PID算法的循迹小车制作 1.标准赛道示意图: (该赛道包含了:左直角、右直角、十字路口等路况) 2.灰度传感器安装示意图: (可根据实际情况调节各传感器之间的间距) 3.硬件原理图: 4.控制逻辑: 5.程序如下: #define leftA_PIN 7 #define leftB_PIN 6 #define left_Pwm_PIN 5 #define STBY...

qq_44343584的博客 4万+

Redis 主从复制详解:配置实操 + 原理机制

本文详解Redis主从复制的配置与原理,涵盖建立/断开复制、安全性设置、只读模式及传输延迟优化。通过slaveof命令实现主从关系,支持全量与部分复制(psync),利用复制ID和偏移量实现高效数据同步。主从部署提升可用性与性能,适用于高并发、故障容灾场景。

2303_77004089的博客 381

Calibre 3Dstack --每日一个命令day27【overlap】(3-27)

本文介绍了Calibre3Dstack中overlap命令的使用方法。该命令用于检查两个已放置层之间的重叠量是否符合要求,支持设置检查名称、层类型、堆叠范围、检查方向等参数。关键参数包括:-constraint指定重叠约束条件,-exact控制百分比精度,-by_area切换为面积检查模式,-intersection报告相交区域。检查结果可通过RVE选项定制显示方式,适用于3D堆叠设计中的层间重叠验证场景。

u013620135的博客 113

你一直忽略的神器:离你最近的超强语音输入法(微信语音输入全攻略,支持全局混用)

你一直忽略的语音输入工具🎤 ,其实就在身边!无需额外软件,即可实现全局语音转文字⚡ 支持中英文混输,还能与其他输入法混合使用,聊天、办公都能高效完成,让你的输入效率轻松翻倍🚀

XiaoqiangClub的博客 925

Docker多阶段构建实现基于Alpine的Redis的编译安装

【代码】Docker多阶段构建实现基于Alpine的Redis的编译安装。

一直在努力学习的菜鸟 328

【踩坑记录】pandas.to_sql 报 “‘Engine‘ object has no attribute ‘cursor‘”,最后竟然是环境问题

摘要 本文记录了使用pandas+SQLAlchemy+pymysql将数据写入MySQL时遇到的"Engine对象无cursor属性"错误及其解决方案。问题表现为to_sql方法将SQLAlchemy引擎误认为普通DBAPI连接,导致调用cursor()方法失败。经排查发现,这是由于pandas/SQLAlchemy环境损坏所致,而非代码问题。最终通过完全卸载并重新安装pandas(≥2.1)、SQLAlchemy(≥2.0)和pymysql解决了该问题。文章还建议将遗留的read_s

每日出拳老爷子的博客 337

Redis八股

因为原来厕所门上没牌子(Key 不存在),张三成功挂上了牌子(设置成功,返回 1)。“抢到了”:这是业务上的说法。因为只有第一个人能让 Key 从“不存在”变成“存在”,后面来的人一看“Key 存在”,就知道已经有人占坑了。因为门上已经有牌子了(Key 已经存在),所以李四挂不上(设置失败,返回 0)。李四 再试一次 SETNX lock 李四,这次没牌子了,李四挂上了,成功进去。张三 上完厕所,执行 DEL lock(把牌子摘了,Key 删除)。“不存在才设置成功”:这是 SETNX 命令的底层规则。

d_mail的博客 206

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Redis笔记--基础命令

这一节了解一下Redis中基础命令,Redis是一个开源的、基于内存的高性能键值对NoSQL数据库,它把数据主要放在内存里读写,所以速度很快...

ljt2724960661的博客 204

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

RabbitMQ 消费端幂等:唯一索引、条件更新、Redis 去重三种方案的真实代价

MQ 只承诺至少投递一次,重复消息只能消费端自己吃掉。这篇对比唯一索引、条件更新、Redis 短路三种去重方案在 AI 任务场景下的实际代价,附三个踩过的坑。

zhangpan 269

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

redis

AOF 文件体积更大,恢复慢,因为恢复的时候要逐条重放命令。AOF 还有重写机制,用来消除冗余,比如同一个 key 连续 set a、set b、set c、set d,重写之后就只保留一条 set key d,精简文件。消息会被分发到每一个实例的队列,所有实例监听自己的队列,收到消息之后,各自删除本机 Caffeine 里面对应的本地缓存,实现一处修改、全部实例本地缓存失效。HyperLogLog 不存原始数据,基于概率算法估算独立数量,内存极小,支持海量 UV 统计,缺点是结果有微小误差,拿不到明细。

2401_84390420的博客 178

Redis:全景使用场景梳理

Redis三大核心特性:快(内存存储,亚毫秒读写)、共享(多实例统一访问)、可过期(TTL自动淘汰)。其定位为高速缓存与分布式协调层,非业务主库。适用于分布式会话、热点数据缓存、临时状态、并发控制、计数统计、排行榜、轻量消息队列等场景,依托原子命令与内置数据结构实现高效协同。不适用于强事务、复杂查询、资金账务、海量消息持久化等需高可靠、强一致的场景。项目落地需规避缓存穿透、击穿、雪崩、脏数据、大key、租户隔离等问题,遵循“读得频、活得短、要共享、要过期”原则,合理搭配MySQL与专业MQ。

snow的博客 852

Redis Lua 原子限流:Lua 脚本、竞态条件与并发控制

Lua是轻量级可嵌入脚本语言,Redis内置Lua5.1解释器,支持通过EVAL或SCRIPTLOAD执行脚本,实现多命令原子操作。利用redis.call()调用Redis命令,结合KEYS和ARGV传参,可将读取、判断、更新等操作封装为原子逻辑,有效避免限流中的竞态条件。固定窗口限流通过Lua脚本实现计数与过期控制,保证操作连续性。但脚本不可回滚,需避免复杂逻辑;执行时间过长会阻塞Redis,且需满足Cluster哈希槽约束。实际应用中还需考虑故障降级策略。

Joy T的博客 159

【计算基础|Redis07】持久化(上):RDB 快照

Redis RDB 持久化通过 BGSAVE 创建内存快照,实现数据备份、迁移与灾难恢复。其核心依赖 fork + 写时复制(COW),确保快照一致性。虽加载快、文件小,但存在两次快照间数据丢失风险,且大内存实例 fork 时可能阻塞。生产中建议搭配 AOF 并禁用高危命令,避免误操作导致数据不可逆丢失。

花间相见的博客 221

【计算基础|Redis06】底层数据结构

本文详解Redis 7.4底层数据结构设计:以SDS替代C字符串实现O(1)长度查询与二进制安全;ZSet采用跳表+哈希表组合,兼顾排序与快速查找;小对象用listpack取代ziplist,根除连锁更新问题;List通过quicklist融合紧凑与链表优势;哈希表采用渐进式rehash避免阻塞;整数集合使用intset节省内存。结合OBJECT ENCODING实测,直观展示数据从紧凑编码(int/embstr/listpack)自动切换至通用编码(raw/hashtable)的过程,体现“小则省、大则快

花间相见的博客 349

Redis vs Memcached 在日志监控中的选型陷

在日志监控系统中,缓存作为关键一环,常常被用来提升系统的响应速度与处理能力。Redis 与 Memcached 作为两个主流的内存缓存技术,虽都适用于缓存场景,但在实际使用中存在显著差异。对于刚入行的初级程序员来说,在面对日志监控这类高并发、高频写入的场景时,往往难以判断应选择哪一种。本文将从日志监控的实际业务需求出发,结合 Redis 和 Memcached 的特性对比,分析在该场景下的选型陷阱与技巧,并给出一份可直接参考的技术方案对比表。

后台模板 184

Redis 缓存机制:缓存一致性、穿透、击穿与雪崩

Redis缓存通过CacheAside模式减少数据库压力,提升读取性能。核心问题包括缓存一致性、穿透、击穿与雪崩。更新数据库后删除缓存可缓解不一致,但存在竞态风险;缓存穿透可通过空值缓存或布隆过滤器防御;击穿可用互斥锁或逻辑过期应对;雪崩则需随机TTL、高可用部署及限流降级。命中率、延迟等指标需持续监控,关键业务应避免依赖缓存强一致性。

Joy T的博客 180

多存储协同架构:JPA + MyBatis + Elasticsearch + Redis 的职责分工与通用实现

本文阐述了在高并发订单系统中,通过JPA、MyBatis、Elasticsearch与Redis的多存储协同架构实现职责分离:JPA负责事务性写操作与简单查询;MyBatis处理复杂联查与报表统计;Elasticsearch承载海量数据下的多维检索与聚合;Redis用于缓存、防回滚暂存及分布式锁。各存储分工明确,通过异步同步机制联动,兼顾一致性、性能与扩展性,构建高效稳定的系统架构。

BADAO_LIUMANG_QIZHI的博客 279

Redis常见问题汇总

穿透:本质是“不存在的数据没法被缓存” → 布隆过滤器挡住 + 空值短缓存兜底 + 入口校验限流;雪崩:两个根因——同刻失效(TTL 加随机打散)和Redis 整挂(哨兵/集群 + 应用侧限流降级兜底);实际事故里八成是组合拳:批量过期叠加大促流量。上线前 Review 每个批量写入的 TTL 写法(有没有统一 EX),比事后救火便宜得多。

qq_38636133的博客 345

Ubuntu apt安装jdk1.8,nginx,mysql8.0,redis

装 MySQL 8.0 + 验证。先写配置,再装 MySQL。解决远程不能登录的问题。

qq_42729058的博客 203
上一篇: 从单体扛百万并发:我在社交打赏系统中的微观优化实战
下一篇: 那年夏天,我们的“巨无霸”单体差点压垮整个平台
旷野说
博客等级 码龄9年 361粉丝 86原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值