一文看懂分布式事务

公众号-芋道源码 公众号-芋道源码 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 198平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-02-21 02:06:49 发布 198 阅读 AI 写同款· GEO 优化 ›
仿真每日一练 | 有限元模态分析详解 结构的振动一直是工业领域产品分析的重点，在振动的仿真分析中，模态分析是其最基本的分析类型，通过研究结构的固有频率和振型对产品的设计提供指导。2.2、在interaction模块，通过special->Spring，在各点之间分别创建弹簧单元，弹簧刚度为1000。2.1、在interaction模块，创建两个RP点，与两侧RP点各间隔100大小，如图3所示；其中M、K、C均为n*n的矩阵，s、x、v为n*1的矢量，n为系统自由度数量。3、在Assembly模块创建装配体，两点之间的距离为100，如图2所示； 阅读详情

点击上方“芋道源码”，选择“设为星标”

管她前浪，还是后浪？

能浪的浪，才是好浪！

每天 10:33 更新文章，每天掉亿点点头发...

源码精品专栏

 

来源：juejin.cn/post/6844904033220558861

本地事务

事务Transaction由一组SQL组成，具有四个ACID特性

ACID

Atomicity 原子性 构成事务的一组SQL，要么全部生效，要么全不生效，不会出现部分生效的情况

Consistency 一致性 数据库经过事务操作后从一种状态转变为另一个状态。可以说原子性是从行为上描述，而一致性是从结果上描述

isolation 隔离性 事务操作的数据对象 相对于 其他事务操作的数据对象相互隔离，互不影响

durability 持久性 事务提交后，其结果就是永久性的，即使发生宕机（非磁盘损坏）

事务实现

对于MySQL数据库（InnoDB存储引擎）而言，隔离性是通过不同粒度的锁机制来实现事务间的隔离；原子性、一致性和持久性通过redo log 重做日志和undo log回滚日志来保证的。

redo log

当数据库对数据做修改的时候，需要把数据页从磁盘读到buffer pool中，然后在buffer pool中进行修改，那么这个时候buffer pool中的数据页就与磁盘上的数据页内容不一致，称buffer pool的数据页为dirty page 脏数据，如果这个时候发生非正常的DB服务重启，那么这些数据还没在内存，并没有同步到磁盘文件中（注意，同步到磁盘文件是个随机IO），也就是会发生数据丢失，如果这个时候，能够在有一个文件，当buffer pool 中的data page变更结束后，把相应修改记录记录到这个文件（注意，记录日志是顺序IO），那么当DB服务发生crash的情况，恢复DB的时候，也可以根据这个文件的记录内容，重新应用到磁盘文件，数据保持一致。

undo log

undo日志用于存放数据被修改前的值，如果修改出现异常，可以使用undo日志来实现回滚操作，保证事务的一致性。另外InnoDB MVCC事务特性也是基于undo日志实现的。

undo日志分为insert undo log （insert语句产生的日志，事务提交后直接删除）和 update undo log（delete和update语句产生的日志，由于该undo log可能提供 MVVC 机制使用，所以不能再事务提交时删除）。

推荐下自己做的 Spring Boot 的实战项目：

https://github.com/YunaiV/ruoyi-vue-pro

问题引入

CAP理论

图片

CAP原则又称CAP定理，指的是在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）。CAP 原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。但由于在分布式系统中，分区容错性必然存在，所以只能在一致性和可用性妥协。

传统的DBMS，如MySQL其实CA组合，在主从架构下，读写分离的情况下，是牺牲一定的一致性的（主从延迟）。

Base理论

base available 基本可用

分布式系统在出现故障时，允许损失部分可用功能，保证核心功能可用

soft state 软状态

允许系统中存在中间状态，这个状态不影响系统可用性

eventually consistent 最终一致性

系统的中间状态经过短暂的时间后到达一致状态

推荐下自己做的 Spring Cloud 的实战项目：

https://github.com/YunaiV/onemall

如何解决

场景举例

考虑这样一种业务场景，系统A调用系统B的退款服务进行退款，系统A更改内部退款状态，接着调用系统C的短信服务通知用户。

在这样的一个场景下，由于网络不可靠的必然存在，存在A、B、C三个系统之间一致性的问题。

本地表

针对上述场景，设计两张表 退款记录表 和 短信发送记录表 以及 相应的补偿Job

具体实现过程：

  1. 新增退款记录表，状态为处理中

  2. 调用系统B的退款服务进行退款

  3. 更新退款记录状态为对应的状态（成功/失败）

  4. 如果退款成功，则新增短信发送记录，记录状态为待发送

  5. 调用系统C的短信服务，发送短信

  6. 更新短信发送记录为已发送

退款补偿Job

查询退款记录表中处理中的记录，调用系统B的退款服务 退款成功处理：

  1. 新增短信发送记录，记录状态为待发送

  2. 调用系统C的短信服务，发送短信

  3. 更新短信发送记录为已发送

短信通知补偿Job

查询短信发送记录中待发送的记录，调用系统C的短信服务

  1. 调用系统C的短信服务，发送短信

  2. 更新短信发送记录为已发送

注意：

  • 系统B和系统C需要根据调用方传的uuid支持幂等

  • 系统A、B、C会出现短暂的不一致，但最终一致

事务消息

可以将其视为两阶段提交消息实现，以确保分布式系统中的最终一致性。事务性消息可确保本地事务的执行和消息的发送可以原子方式执行。

但是由于事务消息异步的特性，调用方拿不到消费方的处理结果，适用于不关心对方的返回结果/对方负责保证处理成功

图片

针对上述场景，增加两个事务消息的方式解决一致性问题，系统A通过发送事务消息的方式与系统B和系统C进行交互

具体实现过程：

  • 发送退款的事务消息

  • 新增退款记录，状态为：处理中

  • Commit退款事务消息

提供MQ事务callback

退款callback查询

  • 有退款记录且为处理中则Commit

  • 其他则Rollback

发送短信callback查询

  • 有退款记录且成功则Commit

  • 其他则Rollback

退款同步Job

查询退款记录表中处理中的记录，调用系统B的退款查询接口 同步状态 其中退款成功处理：

  • 发送短信的事务消息

  • 更新退款记录为成功

  • Commit短信事务消息

相关理论

二阶段提交

图片
图片

二阶段提交是解决分布式事务问题的重要理论基础，但也存在着明显的问题：

  • 阻塞问题，参与者将协议消息发送给协调器后，它将阻塞直到收到提交或回滚，只能依赖协调者的超时机制

  • 协调者单点问题，如果协调者出现故障，则某些参与者将一直无法收到提交或回滚的消息。

为了解决二阶段提交出现的问题，又有了三阶段提交（Three-phase commit） ：

  • 解决阻塞问题：将2PC中的第一阶段一分为二，提供了一个CanCommit阶段，此阶段并不锁定资源，这样可以大幅降低了阻塞概率

  • 解决单点问题：在参与者这边也引入了超时机制

DTP Model

X / Open分布式事务处理DTP（Distributed Transaction Processing）模型是一种软件体系架构，已经成为事实上的事务模型组件的行为标准。它允许多个应用程序共享由多个资源管理器提供的资源，并允许其工作被协调为全局事务。

图片

ApplicationProgram(AP) 应用程序定义了事务边界并指定构成事务的操作

ResourceManager(RM) 资源管理器用来管理我们需要访问的共享资源，我们可以将它理解为关系数据库、文件存储系统、消息队列、打印机等

TransactionManagger(TM) 事务管理器是一个独立的组件，他为事务分配标识符并监视事务的执行情况，负责事务完成和故障恢复

CommunicationResourceManager(CRM) 通信资源管理器控制一个或多个 TM domain 之间分布式应用的通信。

XA Specification

XA规范是X/Open关于分布式事务处理 (DTP)的规范。规范描述了全局的事务管理器与局部的资源管理器之间的接口。XA规范的目的是允许多个资源（如数据库，应用服务器，消息队列，等等）在同一事务中访问，这样可以使ACID属性跨越应用程序而保持有效。XA使用两阶段提交来保证所有资源同时提交或回滚任何特定的事务。

XA规范描述了资源管理器要支持事务性访问所必需做的事情。

图片
TCC
图片
图片
saga
图片

在 Saga 模式下，分布式事务内有多个参与者，每一个参与者都是一个冲正补偿服务，需要用户根据业务场景实现其正向操作和逆向回滚操作。

分布式事务执行过程中，依次执行各参与者的正向操作，如果所有正向操作均执行成功，那么分布式事务提交。如果任何一个正向操作执行失败，那么分布式事务会去退回去执行前面各参与者的逆向回滚操作，回滚已提交的参与者，使分布式事务回到初始状态。

图片

Saga 模式下分布式事务通常是由事件驱动的，各个参与者之间是异步执行的，Saga 模式是一种长事务解决方案。

Saga模式的优势是：

  • 一阶段提交本地数据库事务，无锁，高性能；

  • 参与者可以采用事务驱动异步执行，高吞吐；

  • 补偿服务即正向服务的“反向”，易于理解，易于实现；

缺点：

  • Saga 模式由于一阶段已经提交本地数据库事务，且没有进行“预留”动作，所以不能保证隔离性。

开源项目

Seata

Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。支持AT、TCC、SAGA、XA四种模式，对微服务框架支持友好。

图片

如下图所示，Seata 中有三大模块，分别是 TM、RM 和 TC。其中 TM 和 RM 是作为 Seata 的客户端与业务系统集成在一起，TC 作为 Seata 的服务端独立部署。

TC - 事务协调者 维护全局和分支事务的状态，驱动全局事务提交或回滚。

TM - 事务管理器 定义全局事务的范围：开始全局事务、提交或回滚全局事务。

RM - 资源管理器 管理分支事务处理的资源，与TC交谈以注册分支事务和报告分支事务的状态，并驱动分支事务提交或回滚。

在 Seata 中，分布式事务的执行流程：

  • TM 开启分布式事务（TM 向 TC 注册全局事务记录）；

  • 按业务场景，编排数据库、服务等事务内资源（RM 向 TC 汇报资源准备状态 ）；

  • TM 结束分布式事务，事务一阶段结束（TM 通知 TC 提交/回滚分布式事务）；

  • TC 汇总事务信息，决定分布式事务是提交还是回滚；

  • TC 通知所有 RM 提交/回滚 资源，事务二阶段结束；

AT模式

AT 模式是一种无侵入的分布式事务解决方案。在 AT 模式下，用户只需关注自己的“业务 SQL”，用户的 “业务 SQL” 作为一阶段，Seata 框架会自动生成事务的二阶段提交和回滚操作。

一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。二阶段：提交异步化，非常快速地完成。回滚通过一阶段的回滚日志进行反向补偿。

图片

在一阶段，Seata 会拦截“业务 SQL”，首先解析 SQL 语义，找到“业务 SQL”要更新的业务数据，在业务数据被更新前，将其保存成“before image”，然后执行“业务 SQL”更新业务数据，在业务数据更新之后，再将其保存成“after image”，最后生成行锁。以上操作全部在一个数据库事务内完成，这样保证了一阶段操作的原子性。

图片

TCC模式

图片

一个分布式的全局事务，整体是 两阶段提交 的模型。全局事务是由若干分支事务组成的，分支事务要满足 两阶段提交 的模型要求，即需要每个分支事务都具备自己的：

一阶段 prepare 行为 二阶段 commit 或 rollback 行为

TCC 模式，不依赖于底层数据资源的事务支持：

  • 一阶段 prepare 行为：调用 自定义 的 prepare 逻辑。

  • 二阶段 commit 行为：调用 自定义 的 commit 逻辑。

  • 二阶段 rollback 行为：调用 自定义 的 rollback 逻辑。

所谓 TCC 模式，是指支持把 自定义 的分支事务纳入到全局事务的管理中。

Saga模式

目前SEATA提供的Saga模式是基于状态机引擎来实现的，机制是：

  1. 通过状态图来定义服务调用的流程并生成 json 状态语言定义文件

  2. 状态图中一个节点可以是调用一个服务，节点可以配置它的补偿节点

  3. 状态图 json 由状态机引擎驱动执行，当出现异常时状态引擎反向执行已成功节点对应的补偿节点将事务回滚 （异常发生时是否进行补偿也可由用户自定义决定）

  4. 可以实现服务编排需求，支持单项选择、并发、子流程、参数转换、参数映射、服务执行状态判断、异常捕获等功能

状态机引擎原理

图片

  • 图中的状态图是先执行stateA, 再执行stateB，然后执行stateC

  • "状态"的执行是基于事件驱动的模型，stateA执行完成后，会产生路由消息放入EventQueue，事件消费端从EventQueue取出消息，执行stateB

  • 在整个状态机启动时会调用Seata Server开启分布式事务，并生产xid, 然后记录"状态机实例"启动事件到本地数据库

  • 当执行到一个"状态"时会调用Seata Server注册分支事务，并生产branchId, 然后记录"状态实例"开始执行事件到本地数据库

  • 当一个"状态"执行完成后会记录"状态实例"执行结束事件到本地数据库, 然后调用Seata Server上报分支事务的状态

  • 当整个状态机执行完成, 会记录"状态机实例"执行完成事件到本地数据库, 然后调用Seata Server提交或回滚分布式事务

- END -

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 101 余篇，覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
标签
#分布式 #数据库 #java #mysql #redis
原文链接：http://www.iocoder.cn/zhishixingqiu/?vip\x26amp;amp;mp>
全志V3S嵌入式驱动开发（编译器升级到7.5） 【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 看过我们文章的朋友都知道，前面为了做v3s的驱动，对linux kernel进行了两次升级。第一次升级时从4.10.y升级到4.14.y，另外一次升级是从4.14.y升级到5.2.y。这中间最主要的原因，就是为了驱动适配的需要，更新的内核可以对硬件驱动有更好的支持，架构也更合理。 如果说内核升级尚且可以理解，那为什么要对编译器升级呢？这里面，最重要的一点就是语言的升 阅读详情

相关推荐

FPGA新手必看：用USB转TTL实现串口通信的完整流程（附CH340G电路详解）

本文为FPGA新手提供了通过USB转TTL模块实现串口通信的完整实战指南。详细解析了CH340G电路设计要点、硬件连接方法，并分享了经过验证的Verilog代码框架，帮助读者快速掌握FPGA与PC通信的核心技术，解决电平匹配与波特率设置等常见问题。

cake8的博客 1050

分布式事务的七种解决方案

一、什么是分布式事务 分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。一个大的操作由 N 多的小的操作共同完成。而这些小的操作又分布在不同的服务上。针对于这些操作，要么全部成功执行，要么全部不执行。 二、为什么会有分布式事务 举个例子： 转账是最经典的分布式事务场景，假设用户 A 发起一笔跨行转账给用户 B，银行系统首先扣掉用户 A 的钱，然后增加用户 B 账户中的余额。如果其中某个步骤失败，此时就有可能会出现两种异常情况： 用户 A 的账户扣

ChineseSoftware的博客 8064

【Kingbase人大金仓】授权文件更换

本文介绍了金仓数据库授权文件更换的步骤：1.通过ksql或客户端工具查询数据库版本；2.在官网下载对应版本的license.bat文件；3.替换前先备份原授权文件（使用tar命令压缩），再用新文件覆盖原文件。注意事项包括：版本号需严格对应，授权文件通常位于安装目录下，可使用find命令查找具体位置。操作需谨慎，建议先备份原文件以便恢复。

qq_34463511的博客 3459

分布式事务详解与解决方案

如何进行分布式事务控制什么是分布式事务什么是事务事务是由一个或多个操作运行的一个逻辑工作单元，这个工作单元具有ACID四种特性：原子性（Atomic）：事务必须是原子工作单元，对数据进行修改，要么全部执行，要么全部都不执行。一致性（Consistent）：事务在完成时，必须使所有数据都保持一致状态，事务结束时所有的内部数据结构都必须是正确的；如果事务是并发多个，系统也必须如同串行事务一样操作。其主要特征是保护性和不变性(Preserving an Invariant)。

zy31584729的博客 3479

ros2 humble中使用realsense t265与d435

前提，安装realsense SDK 2.51.1版本并且能成功启动realsense-viewer V2.51.1想要在ros2中使用realsense t265,必须配合realsense SDK v2.51.1使用realsense-ros 4.51.1版本，因为新版本realsense ros2不再对t265支持下面记录源码编译安装 realsense-ros 4.51.1版本。

m0_72797388的博客 953

大厂嵌入式面试常考八股文及算法

1.指向已被释放或无效的内存地址的指针是野指针。互斥锁是一种用于线程同步的机制，用于确保同一时间只有一个线程访问共享资源。多态是面向对象编程中的一种特性，它允许以一种统一的方式处理不同类型的对象，通过相同的接口可以表现出不同的行为。大小端（Endian）指的是在计算机存储和处理多字节数据时，字节的存储顺序。大端序（Big Endian）：高位字节存储在低地址，低位字节存储在高地址。类似于将数字的高位放在左边，低位放在右边的表示方式。例如整数值0x12345678在内存中按照大端序排列为。

谢谢大家的关注 6159

【微服务入门】分布式事务详解及seata的使用

一文读懂分布式事务微服务中的分布式事务问题1 分布式事务介绍1.1 什么是事务1.2 本地事务1.3 什么是分布式事务1.3.0 假如没有分布式事务1.4 分布式事务系统架构1.4.1 什么是分布式系统？1.4.2 分布式事务有哪些场景？1.4.3 单一服务分布式事务1.4.4 多服务分布式事务1.4.5 多服务多数据源分布式事务1.5 CAP定理1.5.1 CAP定理的证明1.5.2 取舍策略2 分布式事务解决方案2.1 基于XA协议的两阶段提交(2PC)2.1.1 概念2.1.2 背景2.1.3 思路2

eclipse1024的博客 2306

linux内核学习(八)---摄像头框架移植(上)

本章来开始进行摄像头的移植，同时回顾一下V4L2的整个框架

文艺小少年的博客 113

分布式事务的问题与解决

分布式事务与本地事务 Transliteration Fēnbù shì shìwù yǔ běndì shìwù Loading 分布式事务与本地事务 分布式事务：简单理解就是一个业务需要调用多个远程微服务操作数据库所产生的问题。 本地事务：单个服务对自己本身的数据库所做的操作。 ...

nsjkabc的博客 1637

手把手教你学Simulink——基于核能发电系统的场景实例：核电站汽轮机与发电机协调控制仿真

在核电机组中，汽轮机-发电机系统是将核能最终转化为电能的关键环节。与火电机组不同，核反应堆的热惯性大、功率调节慢，因此汽轮机的控制策略需与反应堆特性相匹配，实现安全、稳定、高效的能量转换。维持发电机输出功率/频率稳定（响应电网调度）调节汽轮机进汽压力（匹配一回路蒸汽供应）实现“堆-机协调控制”保障机组在启停、变负荷、甩负荷等工况下的安全性本教程将带你使用构建一个核电站汽轮机与发电机协调控制系统汽轮机调速系统（调门控制）建模发电机与电网接口建模（同步机）

MHD0815的博客 212

海思图像质量之HiPQTool调试

文章目录一. HiPQTool 界面二. 图像调试三. 将调试参数写入程序中 一. HiPQTool 界面 二. 图像调试 三. 将调试参数写入程序中

lzg2011的博客 2381

分布式事务问题剖析及技术解决方案

分布式场景业务场景及技术点解析，实用案例及主要技术解决方案对比，附带实际开发中使用的工具类

怀揣梦想，一颗执着于技术的心从未磨灭，内心住着一颗顽强的小强时刻提醒自己层层突破自我，同时也成就他人 1232

基于MATLAB的BOC调制信号捕获算法仿真

然而，在实际的使用过程中，由于室内信号衰减以及遮挡等因素的影响，接收机在GPS信号弱化时会很容易丢失导航信息。与其他的调制方式相比，BOC具有较好的抗多径性能和更高的频带效率。通过本文的介绍，我们可以更加深入地了解BOC调制信号的捕获算法，并且掌握了如何使用MATLAB软件对其进行仿真实现。通过实验数据的分析，我们可以看出该算法对于BOC调制信号的捕获具有较高的准确率和稳定性，因此具有一定的工程应用价值。在BOC调制完成后，我们需要进行信号的捕获，这一步涵盖了信号检测、码偏差估计、载波频率估计等过程。

2301_79326559的博客 567

分布式事务?哪几种方式实现?一文看懂!

分布式事务是指在分布式系统中涉及到多个数据库或多个应用程序之间的事务处理，这些数据库或应用程序可能分布在不同的物理节点上，甚至可能位于不同的地理位置。在分布式事务中，需要确保所有参与者的事务操作都能够保持一致性，即所有参与者的事务要么全部提交成功，要么全部回滚。举个例子, 比如说我们在是春晚的直播舞台, 每个城市的场地需要安排乐队、灯光、音响等。为了确保音乐会成功，每个地方的准备工作必须协调一致，要么所有城市都准备妥当顺利开演，要么任何一个地方出问题了，所有城市都取消。

m0_68723562的博客 2172

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

一文看懂微服务世界性技术难题——分布式事务

????目录1 问题简述2 分析探讨3 事务小结让我们聊聊微服务的老大难：分布式事务。这是个已经被无数次讨论的问题，网上文章多如牛毛。本文从业务底层视角出发，探讨分布式事务究竟难在何处，以及务实的解决之路走向何方，再加一根牛毛... 不过希望本文是比较不一样的视角，能给到读者不同的启发。在微服务架构流行的背景下，分布式事务的文章多如牛毛，虽然很多将事务一致性与副本一致性混为一谈，也仍不可否认其中相当一部...

QcloudCommunity的博客 1225

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

一文看懂分布式事务，最新java高级面试题汇编

分享一份自己整理好的Java面试手册，还有一些面试题pdf。

2401_84103616的博客 750

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ole db 访问接口 sqlncli 无法启动分布式事务_一文看懂分布式事务

本地事务事务Transaction由一组SQL组成，具有四个ACID特性。ACID1. Atomicity 原子性，构成事务的一组SQL，要么全部生效，要么全不生效，不会出现部分生效的情况2. Consistency 一致性，数据库经过事务操作后从一种状态转变为另一个状态。可以说原子性是从行为上描述，而一致性是从结果上描述3. Isolation 隔离性，事务操作的数据对象 相对于 其他事务操作的...

weixin_39618173的博客 184

最新一文看懂分布式事务，java技术面试常见问题

各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取[外链图片转存中…(img-qmsLRAZs-1715658356071)][外链图片转存中…(img-JD8wxoht-1715658356071)]本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。

2401_84692226的博客 389

mysql xa 和普通事务_一文看懂MySQL中基于XA实现的分布式事务

概述前面已经介绍了2PC和3PC方面的内容，那么MySQL数据库在分布式事务这块又是怎么规划呢？XA事务简介XA 事务的基础是两阶段提交协议。需要有一个事务协调者来保证所有的事务参与者都完成了准备工作(第一阶段)。如果协调者收到所有参与者都准备好的消息，就会通知所有的事务都可以提交了(第二阶段)。Mysql 在这个XA事务中扮演的是参与者的角色，而不是协调者(事务管理器)。Mysql 的XA事务分...

weixin_34670892的博客 605

面试初级java工程师问题，一文看懂分布式事务

经过日积月累， 以下是小编归纳整理的深入了解Java虚拟机文档，希望可以帮助大家过关斩将顺利通过面试。由于整个文档比较全面，内容比较多，篇幅不允许，下面以截图方式展示。由于篇幅限制，文档的详解资料太全面，细节内容太多，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-Owiu5F4t-1713474131991)]

2401_84009698的博客 971

分布式python库_一文看懂分布式事务-DBInputFormat-WinFrom控件库|.net开源控件库|HZHControls官网...

本地事务事务Transaction由一组SQL组成，具有四个ACID特性ACIDAtomicity 原子性 构成事务的一组SQL，要么全部生效，要么全不生效，不会出现部分生效的情况Consistency 一致性 数据库经过事务操作后从一种状态转变为另一个状态。可以说原子性是从行为上描述，而一致性是从结果上描述isolation 隔离性 事务操作的数据对象 相对于 其他事务操作的数据对象相互隔离，互...

weixin_39689377的博客 98

一文搞懂MySQL XA如何实现分布式事务

一文搞懂MySQL XA如何实现分布式事务前言XA 协议如何通过MySQL XA实现分布式事务 前言 MySQL支持单机事务的良好表现毋庸置疑，那么在分布式系统中，涉及多个节点，MySQL又是如何实现分布式事务的呢？比如开发一个业务系统，它接受外部的请求，然后访问多个内部其它系统才能执行该请求。执行时我们需要同时更新多个数据库的值（D1,D2,D3)。由于系统必须处于一个一致性，也就是这三个数据库的值要么同时更新成功，要么全部不更新。不然会造成子系统有些指令成功了，有些指令尚未执行。导致对结果理解混乱。 那

神技圈子的博客 6184
上一篇： ArrayList 插入1000万条数据之后，我怀疑了JVM...
下一篇： 微服务架构的最佳设计模式：更简单、可观测、云原生！
点赞 0
评论 0
书签 书签 0
公众号-芋道源码
公众号-芋道源码
博客等级 码龄10年 1631粉丝 377原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值