华为云微服务引擎CSE事务方案二:2PC机制的数据强一致性处理

分布式事务实现方案阿里巴巴fescar、华为servicecomb-pack对比分析 概述 由于微服务架构大行其道,分布式通信几何级增加,必然带来一致性问题,也就是说,以前你遇到不一致的概率可能是100年1次,现在可能是1年1次,甚至1天1次。微服务架构的前期,大多数开发者只关注拆分,选择性忽略一致性、性能、可用性、工具链等问题,导致架构步履维艰,在这些问题当中,一致性是最容易被忽略的。当然,绝大多数场景并不需要那么高的一致性,可以采用失败重试的策略简单处理。 从目前业界的情况来... 阅读详情

2PC机制的数据强一致性处理

概念阐述

两阶段提交协议是常见的一致性协议,许多分布式关系型数据管理系统采用此协议来完成分布式事务。它是协调所有分布式原子事务参与者,并决定提交或取消(回滚)的分布式算法。在两阶段提交协议中,包含了两种角色:协调者与参与者。参与者就是实际处理事务的节点,而协调者就是其中一台单独的进行分布式事务管理的节点。

场景描述

分布式强一致性是为了保证在服务调用完成时,各个参与事务的服务的状态已经保持一致。本节将以一个转账的例子来说明如何利用CSE的强一致性开发和设计分布式事务,保证事务参与方的数据强一致性。

开发示例

本示例以一个银行A,B之间进行转账的情景为例介绍强一致事务的开发。

  • 前提条件:
    1. 运行服务的节点已经安装好mysql数据库,并创建指定的数据库(本例中为

      teststrong)。

    2. 启动本地服务中心。
    3. 启动事务协调器coordinator,可在demo-narayana模块中获取,直接运行RtsServer.java即可。
  • 事务发起方和参与方的POM中均需引入2PC事务对应的依赖包:
    <dependency>
        groupId>com.huawei.paas.cse</groupId>
        <artifactId>handler-2pc</artifactId>
    </dependency>
  • 在microservice.yaml中添加进处理链:

    需在发起方的microservice.yaml文件中引入twoPC-consumer的handler,用于在调用参与方时传输事务ID。

    cse:
      handler:
        chain:
          Consumer:
            default: loadbalance,twoPC-consumer,perf-stats

    在参与方的microservice.yaml文件中引入twoPC-provider的handler,用于接收事务ID。

    cse:
        handler:
            chain:
                Provider:
                    default: twoPC-provider
  • 配置JPA

    在resource/META-INF/persistence.xml中配置JPA属性,连接mysql的配置样例如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <persistence version="1.0" xmlns="http://java.sun.com/xml/ns/persistence" xmlns:xsi="h
    ttp://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/
    ns/persistence http://java.sun.com/xml/ns/persistence/persistence_1_0.xsd">
        <persistence-unit name="jta" transaction-type="JTA">
            <provider>org.hibernate.ejb.HibernatePersistence</provider>
            <jta-data-source>java:/mysqlDataSource</jta-data-source>
            <properties>
                <property name="hibernate.archive.autodetection" value="class"/>
                <property name="hibernate.hbm2ddl.auto" value="update"/>
                <property name="hibernate.current_session_context_class" value="jta"/>
                <property name="hibernate.dialect" value="org.hibernate.dialect.MySQL5Dialect"/>
                <property name="hibernate.connection.release_mode" value="after_statement"/>
            </properties>
        </persistence-unit>
    </persistence>

    其中的mysqlDataSource为下一节中配置的DataSource,persistence-unit name则会在entityManagerFactory中引用。

  • 配置DataSource,Adaptor 及entitiyManager

    在发起方的resource/META-INF/spring/*.bean.xml 文件中进行配置,样例如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <beans xmlns="http://www.springframework.org/schema/beans"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xmlns:tx="http://www.springframework.org/schema/tx"
        xmlns:context="http://www.springframework.org/schema/context"
        xmlns:jpa="http://www.springframework.org/schema/data/jpa"
        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.1.xsd
        http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.1.xsd http://www.springframework.org/schema/data/jpa http://www.springframework.org/schema/data/jpa/spring-jpa.xsd
        http://www.springframework.org/schema/context
        http://www.springframework.org/schema/context/spring-context-4.0.xsd">
      <tx:annotation-driven/>
      <context:component-scan base-package="narayana"/>
      <jpa:repositories base-package="narayana.jpamodel"/>
      <bean id="mysqlDataSource" class="org.apache.commons.dbcp2.managed.BasicManagedDataSource"
      destroy-method="close">
        <property name="xaDataSourceInstance">
        <bean class="com.mysql.jdbc.jdbc2.optional.MysqlXADataSource">
        <property name="url" value="jdbc:mysql://localhost:3306/bank1?user=root&amp;password=root"/>
        </bean>
        </property>
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="transactionManager" ref="transactionManagerImpl"/>
        <property name="url" value="jdbc:mysql://localhost:3306/bank1?user=root&amp;password=root"/>
      </bean>
      <bean id="jpaVendorAdapter" class="org.springframework.orm.jpa.vendor.HibernateJpaVendorAdapter">
        <!--<property name="showSql" value="true"/>-->
        <property name="generateDdl" value="true"/>
        <property name="database" value="MYSQL"/>
      </bean>
      <bean id="entityManagerFactory" class="org.springframework.orm.jpa.LocalContainerEntityManagerFactoryBean">
        <property name="dataSource" ref="mysqlDataSource"/>
        <property name="jpaVendorAdapter" ref="jpaVendorAdapter"/>
        <property name="persistenceUnitName" value="jta"/>
        <property name="packagesToScan" value="narayana.jpamodel"/>
      </bean>
    </beans>

其中的数据库bank1表示银行A的账户系统。参与方配置类似,只是连接不同的数据库bank2,表示银行B的账户系统。

示例代码
  • Model定义。

    采用JPA注解方式定义表结构,@Table中的name即为表名,该表建立在datasource中定义的数据库中。

    @
    Entity
    @Table(name="account")
    public class Account {
        @Id
        @GeneratedValue(strategy = IDENTITY)
        private Long id;
    
        private String username;
    
        private Long money;
    
        public Account() {
        }
    
        public Account(String username, Long money) {
            this.username = username;
            this.money = money;
        }
    
        public void setMoney(Long money) {
            this.money = money;
        }
    
        public Long getId() {
            return id;
        }
    
        public String getUsername() {
            return username;
        }
    
        public Long getMoney() {
            return money;
        }
    }
  • Repository及Service定义

    AccountService 和AccountRepository 都会根据xml配置自动注入。

    public interface AccountRepository extends JpaRepository<Account, Long> {
        List<Account> findByUsername(String name);
    }
    @Service
    @Transactional
    public class AccountService {
        private final AccountRepository accountRepository;
        @Autowired
        public AccountService(AccountRepository accountRepository) {
            this.accountRepository = accountRepository;
        }
        public Account save(String username, Long money) {
            return this.accountRepository.save(new Account(username, money));
        }
        public void update(Account account) {
            this.accountRepository.save(account);
        }
        public void delete(Long id) {
            this.accountRepository.delete(id);
        }
        public List<Account> findByName(String name){
            return this.accountRepository.findByUsername(name);
        }
    }
  • 发起方服务开发

    引入 @Transactional注解,配置回滚条件和传播策略,即可自动创建事务并保证分布式一致性。服务的业务逻辑中的数据操作通过AccountService 完成。

    @Autowired
    private AccountService accountService;
    @Path("/transfer/{from}")
    @GET
    @Transactional(rollbackFor = Exception.class, propagation = Propagation.REQUIRED)
    public String transfer(@PathParam("from") String from, @QueryParam("username") String username,
    @QueryParam("money") long money) throws Exception {
        List<Account> accounts = accountService.findByName(from);
        if(accounts.size() == 0) {
            accountService.save(from, 20000L);
            LOGGER.warn("This account is not present!");
            return "This account is not present";
        }
        Account account = accounts.get(0);
        if(account.getMoney() < money) {
            LOGGER.warn("There is no enough money!");
            return "There is no enough money";
        }
        RestTemplate restTemplate = RestTemplateBuilder.create();
        String str = restTemplate.getForObject("cse://demo-narayana-jaxrs2/bank2/trans
        fer/" + username + "?amount=" + money, String.class);
        account.setMoney(account.getMoney() - money);
        accountService.update(account);
        return str;
    }
  • 参与方服务开发

    本demo中Model,Service 和Repository均与发起方一致。参与方的方法上方加@Transactionl注解可以同发起方创建的事务绑定为同一个事务,由框架保证它们的一致性。

    @Autowired
    private AccountService accountService;
    @Path("/transfer/{name}")
    @GET
    @Transactional(rollbackFor = Exception.class, propagation = Propagation.REQUIRED)
    public String transfer(@PathParam("name") String name, @QueryParam("amount") long
    amount){
        List<Account> accounts = accountService.findByName(name);
        if(accounts.size() == 0) {
            accountService.save(name, amount);
            return name;
        }
        Account account = accounts.get(0);
        account.setMoney(account.getMoney() + amount);
        accountService.update(account);
        return name;
    }
一文读懂分布式一致性协议2PC和3PC 详解分布式一致性协议2PC和3PC,理解对应的处理流程和特点,面试的时候不会再怂了 阅读详情

相关推荐

强一致性(2PC)

(6)方法上贴 : @GlobalTransactional(rollbackFor = Exception.class) 开启Seata全局事务。(1)下载seate,并启动bin下面的seata-server.bat。在分布式微服务中,我们可以通过openFeign调用其它微服务的接口;当我们在一个业务中,需要操作自己的数据库,也要操作其它微服务的数据库;(2)在作为事务管理器的项目下,导入依赖。方式3:最终一致性(RocketMQ)(8)资源管理者(其它项目的事务)方式1:强一致性(2PC)

weixin_73221891的博客 200

华为CSE框架的一些知识点

华为后端框架CSE

须臾徐的博客 5512

基于Apache SeaTunnel构建CDC数据同步管道

Apache SeaTunnel是一个数据集成开发平台,其发展经历了几个重要阶段:ETL时代(90年代):面向结构化数据库的数据同步,用于构建数据仓库。MPP和分布式技术流行:使用技术如Hive进行数据仓库的构建。此阶段主要使用mapreduce程序进行数据搬运和转换。数据湖技术流行:重视数据集成,强调先同步数据至数据湖仓储,再进行业务面向的转换和设计。CDC,即变更数据捕获,是一种捕获数据库变更事件(如插入、更新、删除)的技术。

weixin_54625990的博客 2173

分布式事务之深入理解什么是2PC、3PC及TCC协议?

导读 在上一篇文章《【分布式事务】基于RocketMQ搭建生产级消息集群?》中给大家介绍了基于RocketMQ如何搭建生产级消息集群。因为本系列文章最终的目的是介绍基于RocketMQ的事物消息来解决分布式系统中的数据一致性问题,所以先给大家率先介绍了RocketMQ消息集群的搭建。 原本是想着在这篇文章中直接介绍RocketMQ的事务消息特性,但是在梳理的过程中作者发现对于分布式事务的概念,可能...

无敌码农 1453

Smart200 PLC实现Bool信号接通延时、关闭延时作用

解决Smart200 PLC时间继电器和脉冲扫描P或N不能重复使用的问题,用于Bool信号延时接通和延时关闭的作用,可调整时间基数

gk_121的博客 4322

彻底卸载Ubuntu双系统,并完美回收100G空间给D盘

本文记录了安全卸载Ubuntu双系统并回收磁盘空间的全过程。作者首先通过Windows命令行彻底清除Ubuntu启动项,避免GRUB引导报错;随后在磁盘管理中删除Linux分区,将100G未分配空间合并至相邻的D盘。针对C盘空间不足问题,作者采用Dism++清理系统文件,并将用户文档、聊天记录等迁移至扩容后的D盘。最终实现了引导纯净、空间合理分配的目标,特别强调分区扩展必须遵循"相邻原则",建议通过间接迁移而非直接扩容来优化系统盘空间管理。

2403_85993278的博客 1514

window.open 实现session隔离_SpringBoot系列——Atomikos实现分布式事务2PC方案 (附完整代码)...

“前沿科技bot 技术专栏作品,你想学的都在这里作者:JackD”目录01 分布式事务2PC原理02 springboot集成Atomikos03 2PC分布式事务的问题局限性01分布式事务2PC原理事务有哪些基本特性(ACID)?原子性:一个业务过程中,事务内的多个数据变更操作要么全部成功,要么全部失败。一致性:指的是业务的正确性,业务数据的一致性;例如,银行转账业务,从账户A转...

weixin_39799561的博客 384

稚晖君Dummy机械臂CAN总线控制详解:从代码到实战(附常见问题排查)

本文深入解析了稚晖君Dummy机械臂的CAN总线控制技术,从协议设计到代码实现,详细介绍了CAN总线在机械臂控制中的核心价值、通信协议栈设计、运动控制指令实现及常见问题排查方法。通过实战案例和代码示例,帮助开发者快速掌握机械臂CAN总线控制的关键技术。

uuu88的博客 296

Spring Cloud(八):Spring Cloud Alibaba Seata 2PC、AT、XA、TCC、源码分析

Spring Cloud Alibaba Seata 2PC、AT、XA、TCC Shardingsphere JDBC 整合Seata 可靠消息最终一致性方案

Men-DD 943

采用离散模型搭建永磁同步电机控制系统

永磁同步电机发电系统分为控制器和发电机,通过simulink仿真软件进行发电系统的离散系统仿真。离散搭建仿真,可以更方便的自动代码生成。通过实践经验离散模块搭建,更能加深对整个控制系统的理解。离散系统在矢量控制中经常涉及到上个开关周期的角度,电压,或者预测下个周期的角度,电流,一般都是通过延时模块实现。PWM比较值寄存器被改写后都是使能了预装载,采样后触发计算到比较值生效可以延时0.5个开关周期Ts,也可以延时1个开关周期Ts,可以通过离散系统进行仿真,大大缩短开发周期。

f1072239934的博客 2864

基于YOLOv8的智能肿瘤检测系统:从图像到诊断的深度学习应用——含代码和论文

本文提出了一种基于YOLOv8深度学习的智能肿瘤检测系统,用于医学影像(CT/MRI/X光)的自动分析与诊断。针对传统人工阅片效率低、主观性强的问题,系统采用最新的YOLOv8目标检测算法,通过改进的C2F骨干网络、Anchor-Free检测头和解耦头等创新设计,实现高效精准的肿瘤定位。文章详细阐述了模型架构、数据处理流程、训练优化方法及PyQt5用户界面开发,为临床提供可靠的AI辅助诊断工具。实验结果表明,该系统在速度和准确率上达到良好平衡,有望提升肿瘤早期筛查效率。

FJN110的博客 202

华为云微服务引擎CSE事务方案一:TCC机制的数据最终一致性处理

TCC机制的数据最终一致性处理概念阐述在一个长事务中,一个由两台服务器一起参与的事务,服务器A发起事务,服务器B参与事务,B的事务需要人工参与,所以处理时间可能很长。如果按照ACID的原则,要保持事务的隔离性、一致性,A发起的事务中使用到的事务资源将会被锁定,不允许其他应用访问到事务过程中的中间结果,直到整个事务被提交或者回滚。这就造成事务A中的资源被长时间锁定,系统将不可用。为了解决在事务运行过...

微服务技术与实践专栏 1208

安卓15_ROM修改定制化_____修改rom的前提条件 去除各种验证 安卓设备通用

通过博文了解💝💝💝 1-------💝💝💝了解安卓设备的启动流程与核心验证机制 2-------💝💝💝了解安卓设备修改rom中的各种验证机制以及对应的去除方法 3-------💝💝💝了解avb验证与dm验证的本质区别与对应的操作方式 4-------💝💝💝修改rom前的循序步骤 避免验证机制导致的不开机

小马哥的专栏 510

分布式事务——三阶段提交

在前文,我们介绍来了分布式事务,以及分布式事务的解决方案之一的二阶段提交。 本文介绍分布式事务处理方案之一的三阶段提交协议。 分布式事务 分布式事务是指发生在多个数据节点之间的事务,分布式事务比单机事务要复杂的多。在分布式系统中,各个节点之间在是相互独立的,需要通过网络进行沟通和协调。由于存在事务机制,可以保证每个独立节点上的数据操作可以满足ACID。但是,相互独立的节点之间无法准确地知道其他节点...

老卫的技术站 1058

图像标注神器:完全开源免费的多功能标注工具Labelme详解

Labelme是MIT开发的免费开源图像标注工具,支持多边形、矩形等多种标注类型,适用于目标检测、分割等计算机视觉任务。提供Windows可执行文件和Python安装两种方式,可输出JSON格式并转换为COCO等标准数据集。具有跨平台、功能全面、社区活跃等优势,能显著提升标注效率,是AI视觉项目的重要数据准备工具。

数字人生 529

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

二阶段提交(2pc)协议

二阶段提交算法是一个分布式一致性算法,强一致、中心化的原子提交协议,主要用来解决分布式事务问题。在单体spring应用中我们往往通过一个@Transactional注解就可以保证方法的事务性,但是在分布式场景下,serviceA往往会调用serviceB和ServiceC等有自己单独数据库的服务。如果serviceb成功了,servicec失败了,这种情况的回滚就需要用到分布式事务了。2阶段提交包含两个阶段,即准备阶段和提交阶段。

不如打代码 1829

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

分布式事务详解、理论分析、及强一致性(2PC、3PC)剖析

在分布式系统中,不同服务之间需要通过网络协作来完成的事务,叫做分布式事务。比如下单业务:先创建订单→扣减库存。1. 访问订单表,创建订单2. 访问库存表:扣减库存 (以上两个表是同一个DB)B. 如果是分布式事务:存在订单微服务和库存微服务,我们请求订单微服务中POrder接口,该接口除了需要调用自身DB创建订单外,还需要调用库存微服务的接口,这就存在网络通信,传统的数据库事务无法满足。1. 订单微服务,创建订单 (本地DB)2. 通过网络调用库存微服务中接口,进行扣减库存。

a410974689的博客 1110

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

分布式一致性协议 之 两阶段提交协议(2PC)

分布式事务: 事务提供一种操作本地数据库的不可分割的一系列操作 “要么什么都不做,要么做全套(All or Nothing)”的机制,而分布式事务就是为了操作不同数据库的不可分割的一系列操作 “要么什么都不做,要么做全套(All or Nothing)”的机制。两阶段提交协议,简称2PC(2 Prepare Commit),是比较常用的解决分布式事务问题的方式,要么所有参与进程都提交事务,要么都取消事务,即实现ACID中的原子性(A)的常用手段。1. 成功执行事务事务提交流程。...

凉茶铺的博客 3829

分布式事务——华为servicecomb-pack

补偿方式 在讲servicecomb-pack之前先了解两个概念:不完美补偿(saga)和完美补偿(tcc)。 saga:不完美补偿,一般在系统中我们会专门为业务逻辑对应写一个补偿逻辑,如果业务逻辑执行失败,就会去执行这个补偿逻辑,我们称这个补偿逻辑为反向操作,这个反向操作同样会留下操作痕迹,例如:在银行系统中,客户去ATM取钱,银行会先对用户账户进行扣款操作,如果本次取钱不成功,银行系统...

itwxming的博客 1145

go-chassis 运行时做了什么?

什么是 chassis?Chassis,是一种微服务模式。在这种模式中,用户并不需要自己去处理构建微服务过程中外部配置、日志、健康检查、分布式追踪等,而是将他们交给专门的框架来处理。用户...

goodspeeed的专栏 1445

HarmonyOS数据存储——分布式数据存储

数据存储

2301_79624024的博客 2499

【微服务设计】从理论到实践:2PC(两阶段提交)与SAGA的全面比较与示例

在现代分布式系统中,事务一致性是一个重要的挑战。为了解决这一问题,业界提出了多种事务处理协议,其中**两阶段提交**(2PC)和**SAGA**是两种常见的方法。本文将详细介绍这两种协议的原理、应用场景及其优缺点,并通过具体示例加以说明。

surfirst的博客 1447

分布式事务--2PC/3PC

本文介绍分布式事务中的2PC和3PC。

IT利刃出鞘的博客 1579

分布式事务解决方案:两阶段提交(2PC)深度解析

2PC 是分布式事务的经典尝试,它用 “两阶段” 拆解复杂的一致性问题,思路值得学习。但缺点也很明显,尤其是性能和故障恢复的问题,让它在实际场景中常被 “嫌弃”。不过,理解 2PC 后,再去学 TCC、Saga 等其他分布式事务方案,会更清晰 —— 它们本质是在 2PC 基础上,优化性能、容错性,做各种 “妥协” 和 “补充”。学分布式事务,2PC 是绕不开的 “第一课”。

Landcc的博客 1791

CAP理论和SETA实现2PC

1.基础概念 1.1 什么是事务 举个生活中的例子:你去小卖铺买东西,“一手交钱,一手交货”就是一个事务的例子,交钱和交货必 须全部成功,事务才算成功,任一个活动失败,事务将撤销所有已成功的活动。 明白上述例子,再来看事务的定义: 事务可以看做是一次大的活动,它由不同的小活动组成,这些活动要么全部成功,要么全部失败 1.2 本地事务 在计算机系统中,更多的是通过关系型数据库来控制事务,这是利用数据库本身的事务特性来实现的,因此叫数据库事务,由于应用主要靠关系数据库来控制事务,而数据库通常和应用在同一个服务器

bocli的博客 1016

微服务分布式事务的几种解决方案及应用场景

微服务分布式事务的几种解决方案及应用场景

Xiaofeng_Lu__的博客 3449
上一篇: 华为云微服务引擎CSE事务方案一:TCC机制的数据最终一致性处理
下一篇: 跟我学CSE系列之7:如何在CSE中创建灰度发布
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值