分布式系统中的幂等性

最新推荐文章于 2025-10-13 08:45:00 发布

转载最新推荐文章于 2025-10-13 08:45:00 发布 · 1.3k 阅读

20 篇文章

订阅专栏

转载自：https://blog.youkuaiyun.com/qq2531246791/article/details/81984381
https://www.cnblogs.com/leechenxiang/p/6626629.html

一、背景

实际系统中有很多操作，不管做多少次，都应该产生一样的效果或返回一样的结果。比如完成一个订单流程时经常遇到下面的场景：
1. 一个订单创建接口，第一次调用超时了，然后调用方重试了一次
2. 在订单创建时，需要去扣减库存，这时接口发生了超时，调用方重试了一次
3. 当这笔订单开始支付，在支付请求发出之后，在服务端发生了扣钱操作，接口响应超时了，调用方重试了一次
4. 一个订单状态更新接口，调用方连续发送了两个消息，一个是已创建，一个是已付款。但是先接收到已付款，然后又接收到了已创建
5. 在支付完成订单之后，需要发送一条短信，当一台机器接收到短信发送的消息之后，处理较慢。消息中间件又把消息投递给另外一台机器处理。

为了解决以上问题，就需要保证接口的幂等性。

二、幂等性概念

幂等（idempotent、idempotence）是一个数学与计算机学概念，常见于抽象代数中。
在编程中幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。那么接口的实际上就是接口可重复调用，在多次调用的情况下，接口产生的效果和返回的结果都是一致的。
举个最简单的例子，那就是支付，用户购买商品使用支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时不会进行第二次扣款，返回结果成功。
有些接口可以天然的实现幂等性，比如查询接口，对于查询来说，查询一次和两次，对于系统来说，没有任何影响，查出的结果也是一样。
除了查询功能具有天然的幂等性之外，增加、更新、删除都要保证幂等性。那么如何来保证幂等性呢？

三、技术方案

查询操作
查询一次和查询多次，在数据不变的情况下，查询结果是一样的。select是天然的幂等操作
删除操作
删除操作也是幂等的，删除一次和多次删除都是把数据删除。(注意可能返回结果不一样，删除的数据不存在，返回0，删除的数据多条，返回结果多个)
唯一索引，防止新增脏数据
比如：支付宝的资金账户，支付宝也有用户账户，每个用户只能有一个资金账户，怎么防止给用户创建资金账户多个，那么给资金账户表中的用户ID加唯一索引。唯一索引或唯一组合索引来防止新增数据存在脏数据（当表存在唯一索引，并发时新增报错时，再查询一次就可以了，数据应该已经存在了，返回结果即可）
token机制，防止页面重复提交
由于重复点击或者网络重发，或者nginx重发等情况会导致数据被重复提交，需要保证页面的数据只能被提交一次，可以使用采用token加redis或内存。
1. 数据提交前要向服务的申请token，token放到redis或jvm内存，token有有效时间。
2. 提交后后台校验token，同时删除token，生成新的token返回。

或者，请求时先异步获取token（或者说全局唯一ID），请求时带上token，根据token查询此次操作是否存在，如果存在则表示该操作已经执行过，直接返回结果；如果不存在则操作。这里的关键在于token获取的幂等性。

悲观锁
获取数据的时候加锁获取
select * from table_xxx where id='xxx' for update;
id字段一定是主键或者唯一索引，不然会锁表。悲观锁使用时一般伴随事务一起使用，数据锁定时间可能会很长，根据实际情况选用
乐观锁(多版本控制)
乐观锁的实现方式多种多样，可以通过version：
update table_xxx set name=#name,version=version+1 where id=#id and version=#version
分布式锁
还是拿插入数据的例子，如果是分布是系统，构建全局唯一索引比较困难，例如唯一性的字段没法确定，这时候可以引入分布式锁，通过第三方的系统(redis或zookeeper)，在业务系统插入数据或者更新数据，获取分布式锁，然后做操作，之后释放锁。
select + insert
并发不高的后台系统，或者一些任务JOB，为了支持幂等，支持重复执行，简单的处理方法是，先查询下一些关键数据，判断是否已经执行过，在进行业务处理，就可以了。注意：核心高并发流程不要用这种方法
状态机幂等
在设计单据相关的业务，或者是任务相关的业务，肯定会涉及到状态机(状态变更图)，就是业务单据上面有个状态，状态在不同的情况下会发生变更，一般情况下存在有限状态机，这时候，如果状态机已经处于下一个状态，这时候来了一个上一个状态的变更，理论上是不能够变更的，这样的话，保证了有限状态机的幂等。
订单等单据类业务，存在很长的状态流转，一定要深刻理解状态机，对业务系统设计能力提高有很大帮助。
对外提供接口的api如何保证幂等
比如银联提供的付款接口：需要接入商户提交付款请求时附带：source来源，seq序列号。source+seq在数据库里面做唯一索引，防止多次付款，(并发时，只能处理一个请求)
重点：对外提供接口为了支持幂等调用，接口有两个字段必须传，一个是来源source，一个是来源方序列号seq，这个两个字段在提供方系统里面做联合唯一索引，这样当第三方调用时，先在本方系统里面查询一下，是否已经处理过，返回相应处理结果；没有处理过，进行相应处理，返回结果。注意，为了幂等友好，一定要先查询一下，是否处理过该笔业务，不查询直接插入业务系统，会报错，但实际已经处理了。
insert or update
这种方法插入并且有唯一索引的情况，比如要关联商品品类，其中商品的ID和品类的ID可以构成唯一索引，并且在数据表中也增加了唯一索引。这时就可以使用InsertOrUpdate操作。在mysql数据库中如下：

insert into goods_category (goods_id,category_id,create_time,update_time) 
       values(#{goodsId},#{categoryId},now(),now()) 
       on DUPLICATE KEY UPDATE
       update_time=now()