分布式事务场景、概念和方案整理

分布式事务(再深入)——分布式事务理论基础 & Java分布式事务解决方案 刚性事务:分布式理论的CP,遵循ACID,对数据要求强一致性。XA协议是一个基于数据库层面的分布式事务协议,其分为两部分:事务管理器(Transaction Manager)和本地资源管理器(Resource Manager)。事务管理器作为一个全局的调度者,负责对各个本地资源管理器统一号令提交或者回滚。主流的诸如Oracle、MySQL等数据库均已实现了XA接口。二阶提交协议(2PC): 根据XA协议衍生出来而来; 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

6dfe355fd24360b9b1ada5892c7afdfb.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:DDD和微服务


分布式事务一直是微服务设计的一个难点,是解决业务一致性问题的重要手段,一直很谨慎不敢写这部分内容,担心水平不够弄错误导大家。

但是如果在项目上出现了跨服务的业务一致性需求,在网络上搜索出来的材料往往是一些理论和具体的框架使用,对问题场景的分析不多。

在和多个公司的架构师讨论后,大家的共识是:分布式事务很难有一个通用的解决方案,需要在场景中获得比较好的平衡,往往是捏着鼻子选择最容易接受的方案。

本文从场景和问题出发,讨论分布式事务的实现思路,并对业界常见的概念进行了辨析,用于指导分布式事务方案选择。

有哪些常见的分布式事务场景?

常见的最终一致性常见有这些,由简单到复杂:

  1. 服务之间的调用重试,需要保持一致性。例如,订单提交后需要发送通知。一般通知服务是单独的服务或者产品,因此需要通过一个机制来保证消息一定会被发出。

  2. 多个业务之间的一致性处理。比如用户在商城消费后,需要异步的完成积分、会员等级的更新等,这类一致性要求没那么严格。

  3. 账户余额管理。用户消费后需要扣减余额,而订单取消后需要再把余额修改回原来的状态。账户和订单往往在不同的服务,因此需要处理一致性问题。

  4. 库存一致性。库存一致性问题是供应链领域的核心问题,也是难度最高的分布式问题。和账户余额类似,当时其不同点在于,账户余额的扣减并发很低,没有竞争烈度。而在电商中,库存属于高烈度争用的资源。

这里只选择了一些具有代表性的业务一致性问题,但是我们能发现一些规律。我们可以对有业务一致性要求的问题进行分类,可以大概分为两类:

  1. 无资源争用的业务一致性场景。

  2. 有资源争用的业务一致性场景。

大部分情况下,无资源争用的业务一致性很容易被解决,通过重试即可解决。而有资源争用的业务一致性场景却很麻烦,其实可以想办法转换为无资源争用的业务一致性场景,这是我们日常解决一致性问题的核心思想。

这就需要用到一些分布式理论的内容,我们主要聊聊有资源争用的场景如何处理。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

分布式事务的理论基础和分析

一致性问题其实在生活中非常常见。

比如在中学,语文老师和数学老师都想要占用晚上的自习时间,于是打电话给家里说不回去吃饭后,让各自的课代表通知班上的同学,如果晚上的时间只够一节课,那么一致性问题就出现了。其中一位老师没有回去吃饭,却也不能上课。

当状态分区后,也就是决策者不在一起时,一致性问题必然会出现。

这个问题被描述为众所周知的 CAP 定理:一致性、可用性和分区容忍性只能三选二。

这三个特性的含义为:

  • Consistency:一致性,每个分区的状态保持一致。

  • Availability:可用性,让作业能进行下去,不会因此阻塞。

  • Partition tolerance:可以允许各个组件分开进行作业,在微服务系统或分库后,分区容忍一定存在。

所以实际上在微服务中,只有 CP 和 AP 可以选择。

不过,CAP 定理有一个隐喻和误解,三个特性只能选择两个的前提“同时”,如果取得一致性的时间足够短,也能看做“同时”。

这就是最终一致性的理论基础:在分布式系统中,我们不一定要放弃一致性,只要在业务允许的时间范围内取得共识即可。甚至有些业务的时间要求是 T+1,也就是在晚上数据同步作业完成后。

所以 CAP 定理可以视为达成分布式系统共识定理的一种。

最终一致性就好比,一名程序员晚上决定加班,只需要在时间允许范围内给家里打电话不回来吃饭一样。对于无资源争用的情况,最终一致性都能解决。

但是对于有争用的情况来说,就没那么简单了。我们经常会有这样的经验,组织了一场会议,通知参会人员后发现没有可用的会议室,又不得不取消会议。

对于会议室这种情况,自然的想法是通过预定占用资源,预定成功后再通知参会人员。

其实在软件工程上,几乎所有具有资源争用的情况也是这样处理的。

在扣减账户余额、库存时,如果存在争用的情况,我们往往会设计一个同步占用的请求。将资源占用后,如果后续的过程出错或者有任何问题再通过最终一致性释放回去即可。

可以见到,几乎大部分分布式事务协调方案都是这个思路:临时占用,异步执行或者回退。其实这就是 TCC 模式。

说完了分布式事务背后的思路,下面盘点一下常见的技术方案和框架,例如 TCC。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

业界常见概念和解决方案

关于分布式事务的话题业界有非常多时髦的词汇,这里做一些梳理。

ACID/BASE

ACID/BASE 是两种事务原则。

ACID 是指:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。这几个特性是关系型数据库管理系统(DBMS)的基础。

BASE 是指:基本可用(Basically Available)、软状态(Soft state)和最终一致性(Eventually consistent)。

当分区发生时,无法做到 ACID,只能追求 BASE。一般在分布式系统(微服务)实践中,在服务内部追求 ACID 事务,在服务间追求 BASE 事务。

TCC

TCC 是 Try-Confirm-Cancel 的缩写,是业界一种常见解决分布式事务的思想。

通常来说,TCC 会侵入业务,工作在应用层,和我们前面的分析部分思路一致,是一种将资源争用转换为无资源争用的模式,用于切断长事务。

参与分布式事务的各个服务,需要实现和预留占用、执行、取消三类作业。

  • Try: 往往是同步的,尝试锁定或占用资源,如果在 Try 阶段就失败自然可以整体失败。

  • Confirm: 消费预先占用的资源,执行较长的业务逻辑,可以异步完成。

  • Cancel: 取消执行业务,释放 Try 阶段的预占的业务资源。

在 Try 阶段一般会生成一个事务 ID 来作为幂等因子,用于后面两步的幂等操作。

值得注意的是,有些项目这三个动作甚至对业务可见,允许用户手动再次重试 Confirm 或者 Cancel 操作。因此,很多使用 TCC 模式解决了项目上分布式事务问题的团队甚至不知道这种模式有一个名字。

TCC 是一种被广泛使用的模式,在电商、支付、银行领域使用非常多,在这些行业经常会听到一些黑话,例如一盘货、多盘货、冲正、在途库存等词可以对应到 TCC 模式中的预占、取消概念上。

JTA/XA

JTA 是 Java 事务编程接口(Java Transaction API);XA 是 eXtended Architecture 协议。

连起来的意思是用支持实现了 JTA 的数据库驱动管理支持 XA 协议的数据源来实现数据库层面的分布式事务。

而这里的分布式事务其实也不是真的分布式,它依赖一个中心化的事务,导致业务中大量的中心化的状态和锁操作。

XA 需要数据库的支持(Mysql 仅有 InnoDB 引擎支持),由事务协调器对数据库本地事务的提交和回滚实现事务。

cc309d81bdd923f840ece8932c870497.png

JTA/XA 是数据库层面的事务,一般来说应用不会干预,可以做到业务无感知。由于这项技术依赖基础设施,且依然是中心化的架构,笔者仅在一个古老的银行项目看到过,现代项目几乎没有再见到。

如果需要了解细节可以参考 Mysql 文档中 XA 部分:https://dev.mysql.com/doc/refman/8.0/en/xa.html

二阶段、三阶段

在 XA 中,实现事务协调的机制为两阶段提交(2PC )。二阶段、三阶段都是分布式协调器集中实现分布式事务的一种原理。

由于它基本不会被用于应用层,我们在日常项目也不太用到,是数据库实现全局事务的一种方式。

二阶段、三阶段提交算法的成立基于以下假设:

  • 在需要实现一致性的分布式系统中,存在一个节点作为协调者(Coordinator),其他节点作为参与者(Participants)。

  • 所有节点都采用预写式日志,这些日志是可靠的。

  • 参与的节点数据是持久化的可靠数据,或者可以被恢复

关于二阶段、三阶段的内容维基百科上有清晰的描述,这里就不浪费篇幅详细说明。这里引用维基百科上一段非常容易理解的比喻:

举例来说,假设有一个决策小组由一个主持人负责与多位组员以电话联络方式协调是否通过一个提案,以两阶段提交来说,主持人收到一个提案请求,打电话跟每个组员询问是否通过并统计回复,然后将最后决定打电话通知各组员。要是主持人在跟第一位组员通完电话后失忆,而第一位组员在得知结果并执行后老人痴呆,那么即使重新选出主持人,也没人知道最后的提案决定是什么,也许是通过,也许是驳回,不管大家选择哪一种决定,都有可能与第一位组员已执行过的真实决定不一致,老板就会认为决策小组沟通有问题而解雇。三阶段提交即是引入了另一个步骤,主持人打电话跟组员通知请准备通过提案,以避免没人知道真实决定而造成决定不一致的失业危机。而三阶段提交为什么能够解决二阶段提交的问题呢?回到刚刚提到的状况,在主持人通知完第一位组员请准备通过后两人意外失忆,即使没人知道全体在第一阶段的决定为何,全体决策组员仍可以重新协调过程或直接否决,不会因出现不一致决定而失业。那么当主持人通知完全体组员请准备通过并得到大家的再次确定后进入第三阶段,当主持人通知第一位组员请通过提案后两人意外失忆,这时候其他组员再重新选出主持人后,仍可以知道目前至少是处于准备通过提案阶段,表示第一阶段大家都已经决定要通过了,此时便可以直接通过。

SAGA 模式

Saga 是类似于 TCC 这样的分布式模式,和 TCC 的主要区别是没有预占和锁定。实现 Sata 有两个假设:

  • 应用层所有的参与长事务的服务都具有可取消能力

  • 应用层所有的参与长事务的服务具有本地事务

简单来说,Saga 模式中参与事务的服务优先提交事务,如果出现失败的情况下,再对前面已经提交的事务进行回滚补偿。

其理论基础来源于 Hector & Kenneth 的论文 《Sagas》,原理参考下图:

7f4387a11c50a2db870e1eb2be31077e.png

图片来源:http://seata.io/zh-cn/docs/user/saga.html

实际来说,使用 Saga 的场景不多。原因是无法应用于资源争用的场景,而无资源争用的场景又不需要 Saga 模式。

可能潜在的场景有多个系统之间的一致性处理,在某些场景下,第三方系统或者遗留系统不提供预占机制,但是提供了取消和回滚操作的 API,可以应用 Saga 模式。

在笔者的经验中,使用类似 Saga 模式处理 ERP、供应链、财务等系统集成,通过优先成功的模式处理业务,如果业务失败,通过一个本地消息或任务表对第三方系统补偿取消的业务。

AT 模式

AT 模式没有查到相关资料,仅在 Seata 框架文档中提到了该模式,在外网环境下没有查到权威出处。

根据公开资料显示和 Seata Committer 的一篇文章:《Seata 分布式事务 XA 与 AT 全面解析》得知。

AT 模式是为了弥补 XA 模式的一些缺点产生的,AT 与 XA 之间的关系主要为工作的分层。XA 模式工作在数据库实现层,依赖相关数据支持 XA 协议,而 AT 模式工作在事务协调器中,通过解析 SQL 获取数据的行进行加锁,牺牲对业务的无侵入性,优化性能。

该篇文章也提到:“AT 可以看作时由 Seata 社区进行全方面优化,自研的 XA 模式,最大特点就是解决了 XA 模式的性能差的问题。” 查证了 AT 模式是 Seata 社区提供的 XA 改进模式。

不过,AT 模式假设大部分业务场景下,假定每个分支事务都能成功。所有分支事务将直接提交,无需等待事务协调器的指示,以提高速度。然而,这种模式下的全局事务实际上并非原子性的,在一定时间内会处于脏数据状态(在并发场景下,如果没有有效的治理措施,这种情况将更加严重)。

分布式事务实现的选择和要点

上面辨析了这么多分布式事务实现的概念和模式,那么对于开发者来说,现实问题是,我该怎么选择各种分布式事务模式进行设计呢?

建议充分分析应用场景、使用成本和需求能权衡的情况下做出选择。参考下面这张概念图:

d33d414f275d92a351ca047385e832df.png

一些关键的决策点如下:

  • 一致性是否只存在数据库层面,是否存在业务执行上有需要一致性,例如通知发送

  • 对业务的侵入性

  • 是否需要引入协调性和基础设施

  • 同一个事务是否有超过两处资源争用的情况

一般来说,在落地实现分布式事务中,如果采用了类似 TCC 方案,需要考虑好幂等性、重试和可靠信息的问题,这些更为细节的内容在以后的话题中讨论。

总结

分布式事务在业界是一个长期讨论的话题,本文仅仅是对常见概念做了辨析和分析,用于在遇到相关问题时做出合适的选择和权衡。

一般来说,在解决这类问题时,还是需要从业务场景出发,分析具体的权衡点,避免引入号称能一劳永逸解决分布式问题的方案或者框架,使用性价比合适的最终方案。

如果深入讨论分布式数据库,会有更多话题,例如全局时钟、原子性、读写冲突、并发控制、数据复制,在后面有机会和大家讨论并整理出来。

参考资料

  • An Illustrated Proof of the CAP Theorem https://mwhittaker.github.io/blog/an_illustrated_proof_of_the_cap_theorem/

  • http://lpd.epfl.ch/sgilbert/pubs/BrewersConjecture-SigAct.pdf

  • https://docs.spring.io/spring-boot/docs/2.0.x/reference/html/boot-features-jta.html

  • https://www.cnblogs.com/jajian/p/10014145.html

  • https://seata.io/zh-cn/blog/tcc-mode-design-principle.html

  • https://blog.youkuaiyun.com/qq_24313635/article/details/104044297

  • 一款 TCC 实现框架 https://github.com/changmingxie/tcc-transaction

  • https://www.atomikos.com/Documentation/WhenToUseJtaXa

  • Understanding XA Transactions With Practical Examples in Go https://betterprogramming.pub/understanding-xa-transactions-with-practical-examples-in-go-67e99fd333db

  • https://blog.youkuaiyun.com/crazymakercircle/article/details/113666155

  • https://dev.mysql.com/doc/refman/8.0/en/xa.html

  • https://en.wikipedia.org/wiki/Two-phase_commit_protocol

  • https://en.wikipedia.org/wiki/Three-phase_commit_protocol

  • https://seata.io/zh-cn/docs/user/saga.html

  • Seata 分布式事务 XA 与 AT 全面解析 https://developer.aliyun.com/article/919377

  • Saga Paper https://www.cs.cornell.edu/andru/cs711/2002fa/reading/sagas.pdf


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

b9689c6f07bbeffefb6789d182c0b5ef.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

62306b7c079207eb24e8d9fcf3ce6d64.png

f8596579e72b3403796ee4c4257cf10b.png8c62b3f2acfe7efd10d8c69d7f5507b8.pnge3e454632dedfd1deb7fa84b79520069.pngd95ad87df64a536418c31388e41c3d9d.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
java实现分布式事务的三种方案 本地事务就是用关系数据库来控制事务,关系数据库通常都具有ACID特性,传统的单体应用通常会将数据全部存储在一个数据库中,会借助关系数据库来完成事务控制。在分布式系统中一次操作由多个系统协同完成,这种一次事务操作涉及多个系统通过网络协同完成的过程称为分布式事务。这里强调的是多个系统通过网络协同完成一个事务的过程,并不强调多个系统访问了不同的数据库,即使多个系统访问的是同一个数据库也是分布式事务,如下图:另外一种分布式事务的表现是,一个应用程序使用了多个数据源连接了不同的数据库,当一次事务需要操作多个数。 阅读详情

相关推荐

分布式事务解决方案整理

摘要:分布式事务方案分为强一致性和最终一致性两类。强一致性方案包括两阶段提交(2PC)和三阶段提交(3PC),适用于金融等高一致性场景,但性能较差。最终一致性方案包括TCC模式、Saga模式、消息队列+本地消息表、事务消息等,适用于大多数业务场景,具有更好的性能和扩展性。选择方案需考虑业务特性、技术架构和团队能力,建议优先考虑业务规避,从简单方案入手,并建立完善的监控和补偿机制。主流框架包括Seata、ServiceComb Saga等。

知乎:https://www.zhihu.com/column/c_1956128398884729528 1045

一个注解,优雅的实现接口幂等性!

????这是一个或许对你有用的社群????一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料:《项目实战(视频)》:从书中学,往事中“练”《互联网高频面试题》:面朝简历学习,春暖花开《架构 x 系统设计》:摧枯拉朽,掌控面试高频场景题《精进 Java 学习指南》:系统学习,互联网主流技术栈《必读 Java 源码专栏》:知其然,知其所以然????这是一个或许...

weixin_44421461的博客 280

从零开始之stm32之CAN通信

CAN通信极简教程(小白友好版),从小白的视角了解并实现简单的STM32F103的CAN通信,直接上手。

qq_30993593的博客 1311

新顶流!开发3年拥有100万用户,开源不到一周已获 7K Star

来源:OSC开源社区Puter 是近日在 GitHub 上最受欢迎的一款开源项目,正式开源还没到一周 ——star 数就已接近 7k。作者表示这个项目已开发 3 年,并获得了超过 100 万用户。根据介绍,Puter 是基于 Web 的桌面操作系统,运行于浏览器中,具有丰富的功能、速度极快且可高度扩展。它可用于构建远程桌面环境或用作云存储服务、远程服务器、Web 托管平台等的界面。特性功能丰富:P...

程序猿DD 360

手把手教你用USBasp给Arduino UNO烧写程序(ICSP模式,含BootLoader选择指南)

本文详细介绍了如何使用USBasp编程器通过ICSP模式为Arduino UNO烧写程序,包括硬件连接、软件配置、Hex文件处理和BootLoader选择指南。内容涵盖从新手入门到高级优化的全流程,帮助开发者高效完成烧写任务,特别适合需要修复BootLoader或进行量产烧写的用户。

weixin_33958381的博客 366

从时序迷宫到稳定通信:FSMC配置中的时间参数深度解析与实战避坑指南

本文深入解析STM32 FSMC配置中的时间参数,特别是AddressSetupTime和DataSetupTime的实战配置技巧。通过STM32F407连接SRAM的实际案例,提供从理论计算到CubeMX配置的全流程指南,帮助开发者避免常见时序陷阱,确保稳定通信。

nginx7reverse的博客 84

芋道以开源之名行下作之事 恬不知耻 标榜自己开源 特公开全部源码+sql 不用再加入知识星球 2024-08-14

链接: https://pan.baidu.com/s/1TeuxbAUfLQ5_BqMBF1kniQ?pwd=cqud 提。依次为后端、补充版的sql、前端。此文档内安装部署等一应俱全。

bojikeqian的博客 5037

从OSGB到3DTiles:倾斜摄影数据高效转换实战指南

本文提供了将倾斜摄影OSGB数据高效转换为Web友好的3DTiles格式的完整实战指南。详细介绍了使用开源工具进行转换的步骤,包括环境搭建、核心命令、参数调优及在Cesium中加载与问题排查,旨在帮助GIS开发者和三维应用工程师打通数据到Web展示的最后一公里,实现大规模三维模型的流畅网络发布。

u0v1w2x3的博客 571

2023,那些被“技术网红”误导的技术趋势

???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料:《项目实战(视频)》:从书中学,往事上“练”《互联网高频面试题》:面朝简历学习,春暖花开《架构 x 系统设计》:摧枯拉朽,掌控面试高频场景题《精进 Java 学习指南》:系统学习,互联网主流技术栈《必读 Java 源码专栏》:知其然,知其所以然????这是一个或许...

芋艿V 141

RHCSA Linux环境搭建

安装Linux操作系统一般有三种方式:为了便捷方便高效,因此本人选择通过虚拟机来使用Linux操作系统。先在官网(Download VMware Workstation Pro)下载好VMware workstation pro软件,下载安装完成后,需要激活打开。下载版本不同,所需激活码也不同(激活码可在网络上查找)

weixin_68256171的博客 1421

Boost变换电路在新能源车充电系统中的创新应用与挑战

本文探讨了Boost变换电路在新能源车充电系统中的创新应用与挑战,重点分析了其在高压快充、能量回收等场景中的技术突破。通过电力电子仿真和新型器件应用,如SiC MOSFET,显著提升了功率密度和转换效率。同时,文章还深入讨论了电磁兼容性(EMC)挑战及智能控制算法的实际应用,为新能源车充电系统的优化提供了实用解决方案。

7z8x2c4v6b9的博客 219

7000字长文带你深入分析微信系统的复杂性来源

???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料:《项目实战(视频)》:从书中学,往事上“练”《互联网高频面试题》:面朝简历学习,春暖花开《架构 x 系统设计》:摧枯拉朽,掌控面试高频场景题《精进 Java 学习指南》:系统学习,互联网主流技术栈《必读 Java 源码专栏》:知其然,知其所以然????这是一个或许...

芋艿V 301

在armv8架构中,有哪些是serror

(3)、RAS(Reliability, Availability, and Serviceability)错误:一些对于系统的可靠性、可用性和可维护性有影响的错误可能会触发 SError。(2)、ECC(Error Correction Code)错误:在访问带有错误校验的内存(如ECC内存)时,如果发现错误校验失败,可能会产生SError。2、其实呢,大多数Serror都是实现定义的,真正实现的serror就没有多少个。Serror(也称System Error),是异步异常的一种,一般是来自。

baron-周贺贺-代码改变世界ctw 1013

【RabbitMQ】面试题9道

建立普通索引 //1.直接创建普通索引 create index index_name on table(column(length));// 2. 以修改表结构创建 alter table table_name add index index_name on column(length);

ADbyCool的博客 292

uni-app - 文本展开 / 收起折叠功能,支持自定义样式(当文本内容超出规定行数后,展开收起折叠的功能)兼容 H5 / App / 小程序且易用更容易修改的插件组件源码,超详细的示例代码及注释

uniapp实现文本的展开与收起功能,uniapp展开全部和收起,uniapp里文本的展开与收起,uniapp中文本内容超出规定行数后展开收起的处理,UNIAPP兼容h5、微信小程序多行文本展开或收起,uni-app中,文字超出隐藏并显示省略号(实现展开、收起全文),uni-app中文本过长-实现折叠与展开效果,中文本内容超出规定行数(字数)后展开收起的处理,超出部分...显示,uniapp适用于uniapp多行文本溢出显示...,多行文本展开或收起,uni-app-文本展开/收起折叠功能,支

🏆 前端领域优质创作者 5644

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

如何实现分布式事务

什么是分布式事务? 简单的说,就是一次大操作由不同小操作组成,这些小操作分布在不同服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。 你上淘宝买东西,需要先扣钱,然后商品库存-1吧。但扣款和库存分别属于两个服务,这两个服务中间要经过网络、网关、主机等一系列中间层,万一任何一个地方出了问题,比如网络抖动、突发异常等待,都会导致不一致,比如扣款成功了,但是库存没-1,就会出现超卖的现象...

cai1560819的博客 1万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

12张图带你彻底理解分布式事务产生的场景和解决方案!!

写这篇文章的背景是有个跟我关系不错的小伙伴去某大型互联网公司面试,面试官问了他关于分布式事务的问题,不巧的是他确实对分布式事务掌握的不是很深入,面试的结果挺遗憾的。不过,这位小伙伴还是挺乐观的,让我写写关于【分布式事务】的系列文章,他想提升自己关于分布式事务的短板,那我就写一个【分布式事务】专题吧,专题的内容计划是从原理、框架源码到企业级实现,这篇文章也算是整个专题的开篇吧。希望能够为小伙伴们带来实质性的帮助。本地事务。

2401_83621784的博客 974

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

分布式事务整理

目录㈠ 什么是分布式事务㈡ 分布式事务分类㈢ 刚性事务⑴ XA协议⑵ JTA协议⑶ 2PC⑷ 3PC㈣ 柔性事务⑴ 补偿型事务TCCSaga⑵ 异步通知型事务MQ事务消息方案本地消息表方案 说明: 本文内容是对自己学习分布式事务的一个总结,有些内容来源于网络,如有侵权,请联系本人删除。 文中可能存在理解错误的地方,欢迎留言指正、探讨,不喜勿喷,谢谢。 如果您以前了解过分布式事务相关的模型,那么本文对您可能没有太大的参考价值。 阅读本文需要先了解一些事务与分布式相关的理论基础,例如什么是事务,事务的ACI

所有文章都可以查看。如果发现需要VIP才能看的文章,请留言,可能是发布的时候手抖了。 876

ShardingSphere官网操作指南补充和重点整理-分布式事务-核心概念(九)

背景 数据库事务需要满足ACID(原子性、一致性、隔离性、持久性)四个特性。 原子性(Atomicity)指事务作为整体来执行,要么全部执行,要么全不执行。 一致性(Consistency)指事务应确保数据从一个一致的状态转变为另一个一致的状态。 隔离性(Isolation)指多个事务并发执行时,一个事务的执行不应影响其他事务的执行。 持久性(Durability)指已提交的事务修改数据...

astra_zhao的专栏 657

分布式事务学习整理

分布式事务相关原理整理

qq_34798605的博客 990

SpringCloud分布式事务解决方案汇总收集

public AjaxMessageEntity userWithdraw(@RequestBody TPayInfo tPayInfo, HttpServletRequest request) { if(参数校验){ //参数校验没有通过,直接返回参数校验错误 } if(通过redis做并发控制,使同时提现人数不能...

1万+

8种分布式事务实现原理的全面整理

完整整理了8种实现分布式事务的原理,包括2PC、3PC、消息队列、TCC、事务状态表、对账等

每天净瞎搞 2269

springcloud分布式事务解决方案_搞懂分布式技术18:分布式事务常用解决方案

本文转载自 http://linkedkeeper.com本文内容参考网络,侵删本系列文章将整理到我在GitHub上的《Java面试指南》仓库,更多精彩内容请到我的仓库里查看https://github.com/h2pl/Java-Tutorial喜欢的话麻烦点下Star哈文章首发于我的个人博客:http://www.how2playlife.com该系列博文会告诉你什么是分布式系统,这对后端工程...

weixin_39623620的博客 2024
上一篇: 9月准备跳槽的兄弟注意了。。。
下一篇: 字节!送 4090 显卡~
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值