分布式的事务该怎么做?(文末问卷抽奖)

从波形图到参数调优:一次无感BLDC电机启动失败的深度解析 本文深入解析无感BLDC电机启动失败案例,通过波形分析揭示参数不匹配和IPM保护机制触发等关键问题。详细探讨了过零点检测、PWM周期设置及强拖参数调优的底层逻辑,并分享IPM模块保护机制与实战调优技巧,最终实现99.98%的启动成功率。 阅读详情

640?wx_fmt=jpeg

分布式八大坑

分布式就是魔鬼啊! 

张大胖最近十分感慨,他所在的公司原来有个电商系统,后来随着用户量越来越大,对系统的可用性要求越来越高。 CTO要求把系统进行拆分, 从一个单体的应用,拆分成微服务组成的应用。 

微服务听起来很美好,但是其中的苦只有做过的人才知道。  

在原来的单体应用中,订单模块想要调用库存和支付,只要调用相关的类或者接口就可以了,只有一个数据库,轻轻松松就可以把所有操作放到一个事务当中,保证不会出现扣了库存但是支付失败的情况。 

640?wx_fmt=png

 (单体应用) 

现在好了,系统成了分布式,原来的进程间调用变成了跨越网络的HTTP调用,这数据库也从单个数据库变成了多个独立的数据库,原来的事务肯定是不起作用了! 

640?wx_fmt=png

大神Bill告诉张大胖分布式有八个大坑, 千万别跳到坑里去:  

当你在构建一个分布式系统的时候,可能会不由自主地做一些假设,这些假设从长期来看,都是错误的,都会导致大麻烦: 

1. 网络是可靠的 

2. (调用)没有延迟 

3.  无限的带宽 

4. 网络是安全的 

5. (系统)拓扑结构不会改变 

6. 有个管理员在管理这个系统 

7. (数据)传输代价为零 

8. 网络是同质的(同类的)  

这第一条就很要命,网络是不可靠的, 网络调用失败的可能性是非常高的,很有可能出现扣减了库存,但是没有支付的情况。 

分布式的事务

怎么样让扣减库存和支付服务能在一个类似数据库事务中完成,要么都做,要么都不做呢? 张大胖觉得十分头疼。 

张大胖首先想到了两阶段的提交(2PC),但是2PC是针对底层的数据资源层实现的,现在要做的是业务层的事情, 况且这2PC也很不好用啊。 

(码农翻身注: 2PC的故事参见《Java帝国之宫廷内斗》) 

他觉得必须要有一个协调人居中协调各个微服务,让他们处于一个“事务”中, 可是这协调者该如何实现? 

Bill 递给他一篇文章:“你要实现的就是分布式事务了!看看这篇文章吧!”  

张大胖接过打印的文章,标题是:《Distributed Atomic Transactions over RESTful Services》 ,他的头嗡地一声就变大了,哀叹道:“英文的啊,你还是给我讲讲吧!” 

“英文很重要啊,大胖同学!” Bill说道,“其实这个分布式事务的原理很简单,它的精华就是冻结资源和幂等性。”

 (此处应该插入一个英语广告,哈哈。) 

张大胖说:“这幂等性我知道,就是一个操作不管是执行一千次,一万次,效果和执行一次是一样的。 这冻结资源是怎么回事?” 

“拿咱们的系统举个例子吧,订单服务要调用库存服务扣减库存(假设数量为2),还要调用支付服务从用户余额扣钱(假设为100), 那订单服务第一步就告诉库存服务,给我冻结2个库存; 告诉支付服务,给我冻结100块钱。在这一步,两个服务要做业务检查,看看库存余额够不够,如果足够,就冻结他们,防止其他调用也进行了扣减操作,导致本次调用余额不足。 这一步,我们称之为尝试(Try)。 ” 

640?wx_fmt=png

 (注: 这里也可以对库存数量和用户余额做扣减)  

库存服务和支付服务操作的都是自己的表,冻结操作可以放到一个本地事务中,保证原子性。 

 “明白, 接下来呢?” 张大胖问道。 

 “这一步如果成功完成,订单服务就可以进入第二步,告诉这两个服务真正地执行扣减操作,这一步叫做Confirm。” 

640?wx_fmt=png

 (注:如果在第一步已经做了扣减,这里只需要修改相关状态即可,大家可自行脑补。 ) 

“慢着,如果调用支付服务进行Confirm时出错怎么办? ” 张大胖问道。

 “很简单,那就告诉库存服务和订单服务,都进行Cancel操作, 把冻结的数量进行恢复。” 

Bill说道。 “我们把这套机制叫做 Try - Confirm -Cancel,简称TCC。对于每个每个微服务来讲,都要提供try , confirm , cancel这三个接口。” Bill接着说,“另外每个微服务也得有一个专门用来管理TCC的组件。” 

640?wx_fmt=png

异常场景

张大胖心想,你说得简单,这都是所谓Happy Path , 在分布式环境中出错是必然的,他很快找到了第一个场景: 

场景1 : 库存服务的Try操作完成, 支付服务的Try操作没有完成, 怎么办?  

Bill说:“这很好处理,订单服务可以尝试去调用库存的Cancel操作(这应该是个幂等操作,可以多次调用),把冻结的库存释放。” 

张大胖说:“那如果出现网络问题,订单服务无法联系库存服务了呢?” 

“不用担心,库存服务的TCC组件能够发现冻结的时间已经超时,会自动把冻结的库存给释放。”  

场景2 : 两个微服务的Try操作都完成, 然后发生网络故障,导致两个Confirm都无法进行 

Bill说: “和第一种情况一下,TCC组件会发现超时,释放冻结的资源, 当然,冻结的这部分资源在释放前的一段时间内不可以被使用。” 

“可是,如果库存服务所在的机器已经挂掉了呢?怎么计算超时?” 张大胖问道。 

“这是个好问题,所以TCC系统必须得记录日志,把那些没有完成的事情记录下来,持久化到硬盘上。这样下次重启就可以接着执行了。” 

场景3 : Try操作都已完成,资源已经冻结,在第三步中库存服务Confirm成功,库存做了扣减, 但是支付服务挂掉了,余额还处于冻结状态, 怎么办? 

Bill 说道:“那可以多尝试几次, 让支付服务做Confirm操作(很明显,这个Confirm操作必须得是一个幂等操作才行)。如果实在是无法成功,那就可以让库存服务做Cancel操作。 如果还是不行,只有让人工介入了。” 

怪不得Bill一直在强调幂等性,原来真正的作用是这样啊。

转向BASE?

  

张大胖想了想,似乎各种情况都能覆盖了, 但是还有实现层面的大问题: 

(1) 就是对于try (冻结资源), confrim , cancel(恢复资源)这样的操作都需要程序员去写代码实现。 

比如对于支付服务, 至少的实现三个方法: 

tryPayment(......) 

confirmPayment(......) 

cancelPayment(......)  

这样TCC框架才可以去调用。  

(2) 还得自己搞个TCC框架。 

Bill 笑道: “那没办法,分布式就是这么烦人。TCC框架倒是有一些现成的,比如Atomikos,tcc-transaction,Hmily等, 但是那些try,confrim, cancel是业务方法,程序员必须得写, 跑不掉的。”  

“就没有别的办法了吗?”

“有啊,也可以尝试下另外一个最终一致性的模型,叫做BASE。”  Bill随手又递过来一篇论文,名字是《BASE: An Acid Alternative》  


“有没有搞错 ! 又是英文的!”  


“你要是不想看英文的,就去看看老刘写的《Java帝国之宫廷内斗》吧!”

往期精彩回顾

Java帝国之宫廷内斗
MySQL:缓存算什么东西?!

Redis:MySQL算老几?

后端风云

别吵吵,分布式锁也是锁

我也是一个线程,为什么每天累得像狗一样?

聊聊微服务的隔离和熔断

帮神策数据做个调查“男程序员之理想中的另一半”, 填写问券就可能获得价值299的双肩包(抽奖,一共10个),程序员必备之良品。

640?wx_fmt=jpeg

切记, 最后一个问题,一定要填写自己的联系方式,否则抽奖就没你的份儿了。


ps: 这个调查问卷是用问卷星做的,填写完以后,问卷星会显示讨厌的抽奖/广告,直接关闭即可。双肩包抽奖是神策数据工作人员手动做的,和问卷星显示的抽奖没有关系。


长按二维码或者点击阅读原文,参与抽奖。

640?wx_fmt=jpeg

MetaGPT核心模块:Data Interpreter 上手实战 - 数据分析和可视化(附运行过程详解) 上篇文章我们详细解读了 DataInterpreter 的实现原理(论文),本文将开始上手实操,开始写代码用上 DataInterpreter。从最简单的例子开始,先给大家看下其运行过程,看下DataInterpreter是如何自动拆解任务,完成任务的,帮助大家构建直观认识。 阅读详情

相关推荐

智能驾驶小白必看:MEB低速紧急制动系统的工作原理与传感器配置详解

本文深入解析了MEB低速紧急制动系统的工作原理与传感器配置。该系统作为智能驾驶的关键安全冗余,专为应对停车场、拥堵路段等复杂低速场景设计。文章详细拆解了其如何通过超声波雷达、环视摄像头等传感器融合感知环境,并基于碰撞时间(TTC)等模型进行风险评估与分级制动,最终实现主动防碰撞,是智能驾驶技术实用化的重要体现。

c2d3e4f的博客 1132

分布式事务

现在面试,分布式系统成了标配,而分布式系统带来的分布式事务也成了标配了。因为你做系统肯定要用事务吧,如果是分布式系统,肯定要用分布式事务吧。先不说你搞过没有,起码你得明白有哪几种方案,每种方案可能有啥坑?比如 TCC 方案的网络问题、XA 方案的一致性问题。 分布式事务的实现主要有以下 5 种方案: XA 方案 TCC 方案 本地消息表 可靠消息最终一致性方案 最大努力通知方案 两阶段...

Talk is cheap,show me the code. 1134

海康威视 2024届 数字逻辑设计 实习笔试分析

记录一下 5月11日晚,做的海康威视的一场笔试。分享给需要的IC人。 岗位:数字逻辑设计工程师(浙江 杭州) 转载需要本人同意! 我的见解不一定都是准确的,欢迎评论区交流指正~~

记录所学,分享知识,结识挚友 1万+

分布式事务的七种实现方案汇总

背景 随着微服务的普及,分布式事务成为了系统设计中不得不面对的一个问题,而分布式事务的实现则十分复杂。阅读本文之前,需要你对数据库事务的ACID、CAP理论、Base理论以及两阶段提交有一定的认知,不熟悉者请自行百度或者阅读参考博客1、2、3和4。除此之外,在阅读本文过程中,如果对某种方案不理解,强烈建议先阅读对应方案中的参考博客后再阅读本文中对应的介绍。 为了便于后文叙述,这里对ACID中的C(一致性)做一个强调:严格的事务一致性是使数据库从一个一致性状态变到另一个一致性状态,且事务中间状态不能被观察

leeta的博客 5348

Amesim应用篇-电芯等效电路模型标定

为了使计算模型更加准确,在有电芯实验测试数据的情况下,依据现有的实验数据对Amesim中的电池等效电路模型进行标定。标定的目的是为了获得更加符合项目实际情况的电芯等效电路模型,标定完的电芯可以用于搭建PACK模型,也可以用于其他虚拟实验。本文以充电标定为例,进行介绍。放电标定与充电一致。

2201_75375391的博客 1215

QT实现图片ROI区域的框选、移动、缩放(附完整源码)

QT实现图片ROI区域的框选、移动、缩放(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1198

分布式事务常见的几种实现方式

分布式事务的实现方式

qq_45968950的博客 2449

有道龙虾LobsterAI vs. OpenClaw:对比与安装部署攻略

LobsterAI是"中国版OpenClaw",更注重易用性和中文场景适配;OpenClaw是技术极客的玩具,需要大量命令行操作。

lpfasd123的博客 2401

遇到的分布式设计10大坑

RabbitMQ 丢失消息的处理方案。

BUG指挥课堂 1781

国科大学习资料--机器人智能控制_袁如意老师PPT后习题答案(学长精心整理)

人工神经元激活函数的作用是什么? 答:激活函数是用来加入非线性因素的,提高神经网络对模型的表达能力,解决线性模型所不能解决的问题。 人工神经网络的学习规则有哪些?各有何特征? 答:大类可以分为无监督学习算法、有监督学习算法和强化学习。其中无监督学习算法指只有输入信息,没有期望的输出信息,如Hebb学习规则,神经元连接强度的变化与两个相互连接的神经元的激活水平成正比。竞争学习法则:网络各输出单元相互竞争,最后达到只有一个最强者激活。有监督学习算法指同时提供输入信息和对应的期望输出信息,如误差学习(Delta学

无名何许人的博客 1488

(七)独立按键

(七)独立按键

m0_52555663的博客 1736

分布式系统知识点总结

文章目录使用的资源汇总分布式系统定义计算机网络和分布式系统的区别使用分布式系统的原因在使用分布式系统时需要面对哪些问题并行系统和分布式系统的区别(parallel and distributed system)分布式系统举例分布式系统的一种定义是:一组独立的计算机,它们对外可以被视作单个系统,也就是说,即使有多台计算机,对用户也是完全隐藏的。给出一个例子,从这个角度来进行分析。中间件在分布式系统中的作用是什么解释(distribution) transparency 的含义,并举例说明不同类型的 trans

qq_42902997的博客 2214

风机叶片小规模振动监测数据集--读取测试

ETH风电叶片缺陷数据集–读取测试 数据简介 提示:这里可以添加本文要记录的大概内容: 结构健康监测是保障重要机电设备、建筑设施健康的重要技术手段。 一、lvm_read包安装 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务

cnjs1994的博客 2852

Java同学找工作最懵圈的问题:到底啥是分布式系统开发经验?

目录 1、从单块系统说起 2、团队越来越大,业务越来越复杂 3、分布式出现:庞大系统分而治之 4、分布式系统所带来的技术问题 5、一句话总结:什么是分布式系统设计和开发经验 6、补充说明:中间件系统及大数据系统 前言 现在有很多Java技术方向的同学在找工作的时候,肯定都会去招聘网站上找职位投递简历。 但是在很多职位JD上往往会有这样的一个要求:熟悉分布式系统理论、设计和开发,具...

D.K专栏 2780

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

敲黑板画重点:七种常见“分布式事务”详解

推荐学习 全网首发!马士兵内部共享—1658页《Java面试突击核心讲》 肝了30天,整出这份[分布式宝典:限流+缓存+通讯],秋招跳槽有望 分布式事务:在分布式系统中一次操作需要由多个服务协同完成,这种由不同的服务之间通过网络协同完成的事务称为分布式事务 一、2PC: 2PC,两阶段提交,将事务的提交过程分为资源准备和资源提交两个阶段,并且由事务协调者来协调所有事务参与者,如果准备阶段所有事务参与者都预留资源成功,则进行第二阶段的资源提交,否则事务协调者回滚资源。 1、第一阶段:准备阶段

m0_67645544的博客 905

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

分布式事务的七种实现方式

文章目录一、前言二、强一致性、弱一致性、最终一致性三、从事务到分布式事务3.1 从事务到分布式事务3.2 分布式事务的实现方式3.2.1 两阶段提交 实现分布式事务3.2.2 三阶段提交 实现分布式事务3.2.3 TCC(Try尝试、Confirm确认、Cancel取消)实现分布式事务3.2.4 最大努力通知 实现分布式事务(略,有单独博客)3.2.5 MySQL基于XA 实现分布式事务(略,有单独博客)3.2.6 ebay本地消息表(ebay研发出的)实现分布式事务3.2.7 半消息/最终一致性(Rock

毛毛的专栏 1万+

如何自己实现一个分布式事务

分布式事务的实现

nai598455803的专栏 1862

分布式事务详解【分布式事务的几种解决方案】彻底搞懂分布式事务

什么是事务?举个生活中的例子:你去小卖铺买东西,“一手交钱,一手交货”就是一个事务的例子,交钱和交货必须全部成功,事务才算成功,任一个活动失败,事务将撤销所有已成功的活动。明白上述例子,再来看事务的定义:事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败。2PC即两阶段提交协议,是将整个事务流程分为两个阶段,准备阶段(Prepare phase)、提交阶段(commit phase),2是指两个阶段,P是指准备阶段,C是指提交阶段。

yygr的博客 1万+

这三年被分布式坑惨了,曝光十大坑

本篇主要内容如下: 前言 我们都在讨论分布式,特别是面试的时候,不管是招初级软件工程师还是高级,都会要求懂分布式,甚至要求用过。传得沸沸扬扬的分布式到底是什么东东,有什么优势? 借用火影忍术 看过火影的同学肯定知道漩涡鸣人的招牌忍术:多重影分身之术。 这个术有一个特别厉害的地方,过程和心得:多个分身的感受和经历都是相通的。比如 A 分身去找卡卡西(鸣人的老师)请教问题,那么其他分身也会知道 A 分身问的什么问题。 漩涡鸣人有另外一个超级厉害的忍术,需要由几个影分身完成:风遁·螺旋手里剑。这个忍术是靠三

悟空聊架构的专栏 1455

快速学习-Seata--分布式事务

Seata–分布式事务 10.1 分布式事务基础 10.1.1 事务 事务指的就是一个操作单元,在这个操作单元中的所有操作最终要保持一致的行为,要么所有操作 都成功,要么所有的操作都被撤销。简单地说,事务提供一种“要么什么都不做,要么做全套”机制。 10.1.2 本地事务 本地事物其实可以认为是数据库提供的事务机制。说到数据库事务就不得不说,数据库事务中的四 大特性: A:原子性(Atomicity),一个事务中的所有操作,要么全部完成,要么全部不完成 C:一致性(Consistency),在一个事务执行

逍遥云恋 1057

分布式事务实现的3种方案

面试中回答分布式事务实现的三种方式

shijinjins的博客 7549

TCC真没这么简单,一文讲透|分布式事务系列(三)

本文从两个场景说起,详细描述了TCC的详细过程,以及对比2PC有什么区别,适用什么样的场景。点击上方“后端开发技术”,选择“设为星标” ,优质资源及时送达在面试前复习 TCC 的时候你是不是这样做的:百度TCC关键词,随便找了篇文章,查询到他有try、confirm、Cancel 三个阶段,业务侵入度高,和两阶段差不多。复习完毕。如果你是这样去理解和复习的,只能说对 TCC 的理解太不到位了,真的...

Daniel的博客 1740

CMS-订单系统的分布式事务如何处理

2 分布式事务 2.1 问题描述 用户支付完成会将支付状态及订单状态保存在订单数据库中,由订单服务去维护订单数据库。而学生选课信息在学 习中心数据库,由学习服务去维护学习中心数据库的信息。下图是系统结构图: 如何实现两个分布式服务(订单服务、学习服务)共同完成一件事即订单支付成功自动添加学生选课的需求,这里 的关键是如何保证两个分布式服务的事务的一致性。 尝试解决上边的需求,在订单服务中远程调用...

逍遥云恋 3050

分布式事务解决方案

分布式事务的实现主要有以下 5 种方案: XA 方案 TCC 方案 本地消息表 可靠消息最终一致性方案 最大努力通知方案 两阶段提交方案/XA方案 所谓的 XA 方案,即:两阶段提交,有一个事务管理器的概念,负责协调多个数据库(资源管理器)的事务,事务管理器先问问各个数据库你准备好了吗?如果每个数据库都回复 ok,那么就正式提交事务,在各个数据库上执行操作;如果任何其中一个数据库回答不...

湖人•总冠军 1万+

分布式系统8条荒谬的假设

1. 网络是稳定的 2. 网络传输的成本为0 3. 网络带宽无限大 4. 网络是安全的 5. 网络的拓扑不会变 6. 只有一个系统管理员 7. 传输数据的成本为0 8. 网络是同构的 在分布式系统中错误是不可避免的,因此在开发分布式系统的过程中不应该避免错误,而是把错误处理当成功能写在代码里。 ...

sjhuangx的专栏 690

分布式数据中的坑(一)Master-Slave架构

前言 Master-slave 架构可以说是最常用的架构,关系型数据库诸如:mysql,postgreSql,oracle,Nosql诸如:MongoDb,消息队列诸如:Kafka,RabbitMQ等都使用了这种架构,本文将先简要介绍此种架构并介绍高可用Master-slave架构中的一些坑,以及应对之策。 Master-Slave架构的原理 如上图所示,Master-slave可以说是最常见的...

weixin_34252090的博客 4926

【坑、坑、坑】为何分布式表单提交老是出现脏数据

https://mp.weixin.qq.com/s?__biz=MzI4NjI2OTYwNg==&mid=2247484096&idx=1&sn=5c26a76f4a06338a5d7869c09ea12458&chksm=ebdecb09dca9421f08d9189c6be676dc68d70288bd031d68ce3fa0afe562f215d4047ca...

jay_888的博客 491
上一篇: 写给期待年薪百万的IT同学
下一篇: IBM收购了Redhat,转身就卖掉了自己的重要软件......
码农翻身
码农翻身 《码农翻身》作者 《码农翻身》作者
博客等级 码龄8年 3万+粉丝 1084原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值