如何避免重复提交?分布式服务的幂等性设计!

【Redis系列】高并发的系统如何保证幂等性 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:www.cnblogs.com/QG-whz/p/10372458.html


为什么需要保证幂等性

编程中的“幂等性”是指任意多次执行所产生的影响,与一次执行的影响相同。一个拥有幂等性设计的接口,保证无论一次或多次来调用接口,都能够得到相同的结果。接口的幂等性设计在某些场景下是必需的,例如用户下单的场景。

我们知道,服务之间的调用存在三种状态:成功、失败、超时。超时是一种未知的状态:被调服务是否执行成功,这个状态是未知的。上游服务调用下游服务超时时可能会进行重试。对于用户下单的场景的超时重试我们考虑以下问题:

  • 是否会导致最终创建了两条一样的订单?

  • 是否会扣除两遍库存?

  • 是否会重复扣除用户的钱?

如果每一笔订单都携带唯一的序号,下单接口可以借助这个序号,来记录某次下单操作的状态。当下单的状态为成功时,就将重复的执行拦截住,避免出现上述的问题。这种方式是由下游被调方来保证幂等性。

除此之外,订单服务也可以提供查询订单状态的接口,上游在下单之前先进行查询,确认该笔订单并没有成功支付后,再重复进行下单操作。

一般来说,服务本身需要自己保证幂等性,而不应该将幂等性交给上游的调用方来做。

推荐下自己做的 Spring Boot 的实战项目:

https://github.com/YunaiV/ruoyi-vue-pro

唯一ID

就上面的幂等性下单接口来说,要做到幂等性,就需要借助一个唯一的ID来标志每次交易。唯一ID的分配可以有几种方式:

  • 由一个统一的ID分配中心来分配。

  • 由上游服务来生成唯一ID,但必须保证不产生冲突的ID。

采用统一的分配中心来分配唯一ID时,业务方每次调用接口都多了一次调用分配中心获取唯一ID的请求。这多了额外的开销。获取唯一ID有一种方式,是借助mysql的自增索引,这其实也是一个ID分配中心。对服务性能有苛刻要求时,可以采用第二种方式,由主调服务本身来生成这个唯一ID。为了保持不会产生重复的ID,可以使用一下几种ID生成方法:

UUID

UUID的全称是Universally Unique Identifier,通用唯一识别码。具体可以看维基百科的介绍:https://en.wikipedia.org/wiki/Universally_unique_identifier

UUID是一个128bit的数字,用于标志计算机的信息,虽然UUID不能保证绝对不重复,但重复的概率小到可以被忽略。UUID的生成没有什么规律,为了保证UUID的唯一性,规范定义了包括网卡MAC地址、时间戳、名字空间(Namespace)、随机或伪随机数、时序等元素,以及从这些元素生成UUID的算法。这也就意味着:

  • 128bit,占据了太多的内存空间

  • 生成的ID不是人可以看懂的

  • 无法保证ID的递增,某些场景需要按前后排序 无法满足。

这是一个在线生成UUID的网站:https://www.uuidgenerator.net/ 你可以直观感受一下UUID。

Snowflake

这是Twitter的一个开源项目,它是一个分布式ID的生成算法,它会产生一个long类型的唯一ID,其核心算法是:

  • 时间部分:41bit作为毫秒数,大概可以使用69.7年

  • 机器编号部分:10bit作为机器编号,支持1024个机器实例。

  • 毫秒内的序列号:12bit,一毫米可以生成4096个序列号

图片

网上有各种语言实现的Snowflake算法的实现,有兴趣的阅读一下实现代码。

实际上,redis 或是 mongoDB 的全局ID生成器的算法和Snowflake算法大同小异。这是基于redis的分布式ID生成器实现:https://github.com/hengyunabc/redis-id-generator

它的核心思想是:

  • 使用41 bit来存放时间,精确到毫秒,可以使用41年。

  • 使用12 bit来存放逻辑分片ID,最大分片ID是4095

  • 使用10 bit来存放自增长ID,意味着每个节点,每毫秒最多可以生成1024个ID

推荐下自己做的 Spring Cloud 的实战项目:

https://github.com/YunaiV/onemall

共享存储

如果我们的幂等性服务是分布式的,那么存储唯一ID也需要采用共享的存储,这样每个服务就是无状态的了。可以使用mysql来存储,也可以使用k- v存储例如redis。我在自己的业务中就采用了redis来存储唯一key。

避免不必要的查询

并不是所有的请求都是重复的,生产环境下可能99%的请求都不是重复请求。如果每个请求在执行前都要去查询下唯一ID是否存在,可能会带来不必要的性能消耗。如果你使用mysql来存储唯一ID,那么可以直接进行insert,通过结果来判断是否插入记录成功,如果不成功则证明ID已经存在:

    insert into ... values ... on DUPLICATE KEY UPDATE ...

而如果使用的是redis,也可以使用redis的setEx,设置成功则证明key不存在,否则key存在说明是重复请求。

- END -

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
分布式服务 API 的幂等设计方案 & Spring Boot + Redis 拦截器实现实例 什么是幂等?简单讲,幂等性是指相同的参数调用同一个 API,执行一次或多次效果一样。在函数式编程里面,这叫“无副作用”,Pure Function。用业务的语言将,就是:对于同一笔业务操作... 阅读详情

相关推荐

分布式服务 API 的幂等设计方案 & Spring Boot + Redis 拦截器实现实例

分布式服务 API 的幂等设计方案 & Spring Boot + Redis 拦截器实现实例 什么是幂等? 简单讲,幂等性是指相同的参数调用同一个 API,执行一次或多次效果一样。 在函数式编程里面,这叫“无副作用”,Pure Function。 用业务的语言将,就是:对于同一笔业务操作,不管调用多少次,得到的结果都是一样的。 问题场景 假如你有个服务提供一个接口,结果这个服务部署...

AI天才研究院 8770

java防止重复提交的方法

这样,即使用户多次提交表单,由于令牌已经被移除,后续的请求都会被拒绝。在处理完POST请求后,服务器不直接返回响应,而是返回一个重定向(REDIRECT)到GET请求的响应。这样,即使用户刷新页面,也只会重复发起GET请求,而不会重复提交表单。在服务器端可以设置一定的限制,例如限制同一个用户在一定时间内只能提交一次表单。在提交成功后,可以禁用提交按钮,防止用户多次点击。在前端页面中,可以通过禁用提交按钮或者在提交时添加遮罩层来防止用户重复提交。在后端代码中,可以通过生成唯一的token来防止重复提交。

花生日记 7605

当LightGBM推理遇上GPU:3种替代方案性能对比(含ONNX实战代码)

本文针对LightGBM官方不支持GPU推理的性能瓶颈,深度评测了RAPIDS cuML、ONNX Runtime GPU和Triton Inference Server三种GPU加速推理替代方案。通过详尽的性能对比和实战代码,为高并发、低延迟的在线预测场景提供了清晰的选型指南,帮助工程师打破推理性能枷锁,实现显著的吞吐量提升。

salt9的博客 813

Java后台防止请求重复提交,拦截器+注解实现防止表单重复提交

由于网络原因,用户操作有误(连续点击两次以上提交按钮),或者页面卡顿等原因,可能会出现请求重复提交,造成数据库保存多条重复数据。后端实现拦截器防重。那么如何防止请求重复提交呢?一般有两种解决方案:第一种:前端处理,在提交完成之后,将按钮禁用。第二种:后端处理,使用拦截器拦截。交给前端解决,判断多长时间内不能再次点击按钮,或者点击之后禁用按钮,当然,聪明的小伙伴能够绕过前端验证,因此推荐后端进行拦截处理。

踮脚敲代码 5488

【ANSYS Workbench仿真】命令流:压力渗透pressure penetration

对与流体接触的part添加边界压力,使流体压力渗透点的接触应力与流体压力相等,以便得到真实的变形结果,就需要用到“pressure penetration”。 但是在ansys中,只能通过ADPL的形式添加,即在workbench中添加命令流的形式。此文主要介绍了**压力渗透的添加要点**和**命令流使用说明**。

路边小M's Blog 1万+

Oracle PLM Agile936 单点登录配置方式

Oracle PLM Agile936 单点登录配置方式

Jay的个人博客 826

最简单的6种防止数据重复提交的方法!(干货)

有位朋友,某天突然问磊哥:在 Java 中,防止重复提交最简单的方案是什么? 这句话中包含了两个关键信息,第一:防止重复提交;第二:最简单。 于是磊哥问他,是单机环境还是分布式环境? 得到的反馈是单机环境,那就简单了,于是磊哥就开始装*了。 话不多说,我们先来复现这个问题。 模拟用户场景 根据朋友的反馈,大致的场景是这样的,如下图所示: 简化的模拟代码如下(基于 Spring Boot): `import org.springframework.web.bind.annotation.RequestMap

weixin_48726650的博客 3935

Python爬虫实战:5分钟搞定东方财富网股票数据抓取(附完整代码)

本文详细介绍了如何利用Python爬虫技术,快速抓取东方财富网的实时股票数据。通过逆向分析其JSONP数据接口,构建了包含请求处理、数据清洗、分页调度及多格式存储的完整自动化采集系统,并提供了应对反爬策略与生产部署的进阶优化思路,附有可直接运行的完整代码。

weixin_29084231的博客 875

java 防重复提交

java 防重复提交

qq_42320804的博客 2440

TCGA之GDC-client工具下载安装与使用

文章主要是对GDC-client工具下载TCGA数据库数据整个过程的一个记录 1.下载GDC-client工具 GDC-client工具网址:GDC Data Transfer Tool | NCI Genomic Data Commons (cancer.gov) 我这里下的是上图中红圈中的版本, 2.解压安装 从网上了解的是不能解压到带中文的路径里,解压后是一个.exe文件,为了能直接在cmd命令行下使用,将其加入系统环境: 点击新建之后,输入将文件解压到的路径,然后...

better_strong的博客 1万+

决策变量乘积项的线性化

介绍了决策变量相乘情况下的线性化,并用案例进行线性化演示,其中针对连续变量相乘的情况介绍了McCormick包络的近似线性化方法

Linshaodan520的博客 1845

Java开发-防止重复提交解决办法

为什么要防止重复提交?在实际Java开发过程中,大部分接口都是要实现CRUD的。例如:insert操作:这种情况如果多次请求,可能会在数据库中插入多条相同的数据,产生重复数据。update操作时,如果有累加计算等其他操作,也可能会导致数据被多次修改,导致数据错误。以上这两种情况在实际开发中是不允许出现的主要有一下两种解决方案1:前端处理前端解决方案是在提交按钮加loading,只运行点击一次,不运行重复点击提交按钮,前端处理是不安全的,一些聪明的小伙伴能够绕过前端验证。2:后端处理。

秃头小兴的博客 1937

SpringAI系列 - MCP篇(二) - MCP Server Boot Starter

此处需注意之前的。

罗小爬的技术宝书 1323

【电商】如何避免重复提交?分布式服务的幂等性设计!

为什么需要保证幂等性 编程中的“幂等性”是指任意多次执行所产生的影响,与一次执行的影响相同。一个拥有幂等性设计的接口,保证无论一次或多次来调用接口,都能够得到相同的结果。接口的幂等性设计在某些场景下是必需的,例如用户下单的场景。 我们知道,服务之间的调用存在三种状态:成功、失败、超时。超时是一种未知的状态:被调服务是否执行成功,这个状态是未知的。上游服务调用下游服务超时时可能会进行重试。对于用户下单的场景的超时重试我们考虑以下问题: 是否会导致最终创建了两条一样的订单? 是否会扣除两遍库

kangbin825的专栏 526

【蓝桥杯单片机组第八届省赛】— 基于单片机的电子钟程序设计与调试

1、初赛试题 1.1 基本要求 (1)使用 CT107D 单片机竞赛板, 完成“电子钟” 功能的程序设计与调试; (2)设计与调试过程中,可参考组委会提供的“资源数据包”; (3)Keil 工程文件以准考证号命名, 完成设计后, 提交完整、 可编译的 Keil工程文件到服务器。 1.2 硬件框图 1.3功能描述 1.3.1 初始化 (1)关闭蜂鸣器、继电器等无关外...

Fanjufei的博客 3661

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

JAVA-幂等性(二):高并发的系统如何保证幂等性

转载自:https://www.cnblogs.com/geyifan/p/6128425.html 一、什么是幂等性 幂等概念来自数学,表示N次变换和1次变换的结果是相同的。这里讨论在某些场景下,客户端在调用服务没有达到预期结果时,会进行多次调用,为避免多次重复的调用对服务资源产生副作用,服务提供者会承诺满足幂等。 HTTP/1.1中对幂等性的定义是:一次和多次请求某一个资源对于资源本身应该具有同样的副作用(网络超时等问题除外)。也就是说,其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。

xishilife的专栏 659

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

如何做到接口幂等性

防止接口多次提交 保证幂等性 什么情况需要幂等性 数据库 查询 天然幂等性 更新 sql更新无论发生多少次 数据库都是1 删除 无论删除多少次 第一次删除成功后 就已经没有相应的id 对应无法删除 插入 插入都是主键唯一 不重复的 幂等性 更新库存 如果不断加库存 那么这个就不是幂等性的更新 插入 不带主键唯一 就不是幂等性 token机制做到幂等性 自己的思考 类似验证码 既然是幂等性 肯定需要Redis来限制次数 并且要与客户端浏览器有关系 分布式集群下 用共享的redis来存储 当前这个

ss123mlk的博客 340

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

kafka-幂等性

客户端在请求中附带一个唯一标识符,如果相同的请求再次到达服务器,服务器可以检查该标识符,发现是重复请求时直接返回成功,避免重复操作。幂等性(Idempotence) 是一个数学和计算机科学中的重要概念,指的是在某些操作中,无论该操作执行多少次,结果都是相同的。具体来说,幂等性指的是在多次执行同一个操作时,不会产生副作用,或者多次执行操作的结果和一次执行的结果相同。在设计高可靠的系统时,考虑幂等性是至关重要的。在应用程序中,设计幂等性的操作时,可以通过确保操作是可逆的,或者操作本身是幂等的。

m0_69378371的博客 481

11.分布式系统接口,如何避免表单的重复提交?

硬件架构改进:主要是使用阿里云多组件的云环境,通过负载均衡SLB,模板克隆的云服务器ECS。云数据库RDS,共享对象存储OSS等不同职责的云产品组合实现。 软件架构优化:主要是软件代码开发的规范,业务解耦合,架构微服务,单机无状态化,文件存储共享等。 (1)幂等性 系统对某接口的多次请求,都应该返回同样的结果。避免因为各种原因,重复请求导致业务重复处理。 重复请求场景案例: 1.客户端第一次请求后,网络异常导致收到请求执行逻辑但是没有返回给客户端,客户端重新发起请求 2.客户端迅速点击按钮提交,导致同一逻辑

wpr1812的博客 302

哪些场景需要考虑到幂等性?

幂等性是确保操作执行一次与多次效果相同的重要属性,特别在分布式系统、网络通信以及数据库操作中尤为关键。

m0_54187478的博客 983

幂等性和实现方法

幂等性和实现方法 – tommwq.tech/blog 如果一个操作重复执行多次,其效果(不考虑操作时间)和只执行一次是一样的,那么这个操作就叫做是幂等(idempotent)的。乍看起来,幂等操作似乎没什么用处,毕竟只有第一次执行有效。但如果在系统设计中考虑到“失败”场景的话,幂等操作是非常重要的。因为失败发生和感知失败发生是两件不同的事情。想象两个服务器进行通过网络进行通信。服务器A发送请求到服务器B,服务器B执行并将结果发送给A。在理想的情况下,一切执行顺利。我们从服务器A的角度来看看发生了什么。首

tq1086的博客 417
上一篇: 浅析 VO、DTO、DO、PO 的概念、区别和用处!
下一篇: 微服务架构下的鉴权,怎么做更优雅?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值