Spring事务在多线程下保证原子性

高并发多线程安全之原子性问题、CAS机制及问题解决方案 多线程编程 之java内存模型(JMM)与可见性问题 前言 在java内存模型中,对多线程间交互,涉及到原子性问题、可见性问题、以及有序性问题; 这篇文章主要讲解的是多线程高并发的原子性问题,以及解决原子性问题、CAS机制、自旋锁的优缺点、以及ABA问题等 什么是原子操作 定义 即一个操作或者多个操作,要么全部执行并且执行的过程不会被任何因素打断,要么就都不执行。 通过下面代码来看出来 public class Counter { volatile int i = 0; 阅读详情

背景

Springboot项目,有个需求,需要提供接口,接口调用方每一次调用时,都会上报大量的数据,接口需要满足以下要求:

  • 数据保存要保证数据原子性:要么全部保存成功,要么全部不保存。
  • 保证接口性能。

实践发现,即使使用批量保存,接口耗时也高达一秒多,所以需要开启多线程来保存。现在的问题是,在开启多线程保存的情况下,如何保证数据的原子性。

思路

  • 开启多线程,每个线程都是使用独立的DB连接。否则由于数据库是串行阻塞操作,最终还是会变成排队操作数据库。
  • 依赖spring事务异常回滚机制。
  • 有个统一的标识来标识“是否有线程操作失败”。
  • 线程如果出现异常:先捕获异常,将标识设置为失败,然后继续抛出异常。
  • 线程如果没有异常,在执行的最后,判断标识是失败,也就是“有其他线程有执行失败”,就自定义抛出异常来回滚。
  • 通过锁来保证:所有的线程都操作完之后,一起判断标识是否成功;确保不会出现“还有线程的业务未执行完成,其他线程就已经结束工作”。

流程图

失败流程如下:
在这里插入图片描述

缺点

多个线程都操作成功,同时提交事务时,如果某个线程在完成commit之前自身发生了奔溃,而其他线程已经commit完成,会导致数据不一致。

代码

@Slf4j
@Component
public class AtomicConcurrentTransactionalExecutor {
    @Autowired
    private TransactionalWorker transactionalWorker;

    /**
     * @param threadWwaitTerminationTimeout
     * @param runnables
     */
    public boolean execute(int threadWwaitTerminationTimeout, Runnable... runnables) {
        int threadSize = runnables.length;
        CyclicBarrier workerCyclicBarrier = new CyclicBarrier(threadSize);
        AtomicInteger successCounter = new AtomicInteger(threadSize);
        ExecutorService executorService = Executors.newFixedThreadPool(threadSize);
        for (Runnable runnable : runnables) {
            executorService.submit(() -> {
                try {
                    transactionalWorker.run(workerCyclicBarrier, successCounter, runnable);
                } catch (Exception e) {
                    log.error("TransactionalWorker current thread execute error before runnable.run!", e);
                }
            });
        }
        ThreadUtils.shutdown(executorService, threadWwaitTerminationTimeout, TimeUnit.SECONDS);
        return successCounter.get() == 0;
    }

    /**
     * @param threadWwaitTerminationTimeout
     * @param threadPollSize
     * @param runnable
     * @return boolean
     * @author minchin
     * @date 2020/2/12 12:33 下午
     */
    public boolean execute(int threadWwaitTerminationTimeout, int threadPollSize, Runnable runnable) {
        Runnable[] runnables = IntStream.range(0, threadPollSize)
                .mapToObj(i -> runnable)
                .toArray(Runnable[]::new);
        return execute(threadWwaitTerminationTimeout, runnables);
    }
}


@Component
@Slf4j
public class TransactionalWorker {

    /**
     * @param workerCyclicBarrier
     * @param successCounter
     * @param runnable
     */
    @Transactional(rollbackFor = Exception.class)
    public void run(CyclicBarrier workerCyclicBarrier, AtomicInteger successCounter, Runnable runnable) {
        boolean isSuccess = false;
        try {
            runnable.run();
            successCounter.decrementAndGet();
            isSuccess = true;
        } catch (Exception e) {
            log.error("TransactionalWorker current thread execute error!", e);
            isSuccess = false;
            throw e;
        } finally {
            try {
                // 如果是数据库操作慢导致长时间阻塞,并不会被线程池中断(Interrupt),也就是会等到数据库操作完成之后,进入到这一步,然后直接报超时异常
                workerCyclicBarrier.await();
            } catch (Exception e) {
                // 等待其他线程时超时
                log.error("TransactionalWorker current thread execute CyclicBarrier.await error!", e);
                if (isSuccess) {
                    // 要回滚计数,否则:假设全部线程都操作成功,但刚好超时,主线程shutdown线程池后,计数为0,会返回成功
                    successCounter.incrementAndGet();
                }
            }
        }
        if (successCounter.get() != 0) {
            log.error("TransactionalWorker other thread execute error, create SystemException to rollback!");
            throw new SystemException("TransactionalWorker other thread execute error, create SystemException to rollback!");
        }
    }
}


@Slf4j
public class ThreadUtils {

    private ThreadUtils() {
    }

    /**
     * @param pool
     * @param awaitTerminationTimeout
     * @param timeUnit
     * @return 如果出现异常,则返回false
     */
    public static boolean shutdown(ExecutorService pool, int awaitTerminationTimeout, TimeUnit timeUnit) {
        try {
            pool.shutdown();
            boolean done = false;
            try {
                done = awaitTerminationTimeout > 0 && pool.awaitTermination(awaitTerminationTimeout, timeUnit);
            } catch (InterruptedException e) {
                log.error("thread pool awaitTermination error!", e);
            }
            if (!done) {
                pool.shutdownNow();
                if(awaitTerminationTimeout > 0) {
                    pool.awaitTermination(awaitTerminationTimeout, timeUnit);
                }
            }
        } catch (Exception e) {
            log.error("thread pool shutdown error!", e);
            return false;
        }
        return true;
    }
}

使用例子

同样的业务,拆分多个线程来

return atomicConcurrentTransactionalExecutor.execute(10, 2,
  // 业务
  () -> testService.test1()
}

不同的业务,每个线程操作不同的业务

return atomicConcurrentTransactionalExecutor.execute(10,
  // 业务1
  () -> testService.test1(),
  // 业务2
  () -> testService.test2(),
}

注意在使用时,同一个类内,调用内部方法,Spring事务不生效的问题。
任务超时的边界测试还需要严格再测试!

Java多线程:线程操作的原子性问题 概述 : 原子性是指在一次操作或者多次操作中,要么所有的操作全部都得到了执行并且不会受到任何因素的干扰而中断,要么所有的操作都不执行,多个操作是一个不可以分割的整体。例如一个送冰淇淋的案例:开启100条线程,每个线程送100个冰淇淋。代码实现 : 运行结果如下: 从结果看出,最后不是10000个冰淇淋,有些count++操作被“打断”了。代码总结 : count++ 不是一个原子性操作, 他在执行的过程中,有可能被其他线程打断,并且说明 volatile关键字不能保证原子性解决方案 : 我们可以给coun 阅读详情

相关推荐

多线程事务管理:Spring Boot 实现全局事务回滚

在本文中,我们通过 TransactionTemplate 和多线程执行器实现了多线程中的全局事务控制,确保所有线程的数据库操作要么一起提交,要么在发生错误时一起回滚。在 Spring Boot 中,我们通常会在需要事务控制的服务方法上使用 @Transactional 注解来保证事务的一致性。在这些用户的处理过程中,数据库操作必须要么全部提交,要么在发生错误时全部回滚。因此,我们需要一种方式,能够在多线程环境下将所有线程的数据库操作放在同一个事务上下文中,并由主线程统一提交或回滚事务。

蔡定努 1707

【实现多线程的原子性、可见性和有序性】

因此,对于同一个锁对象的synchronized块或方法,它们的执行顺序是按照线程的获取锁的顺序来进行的。使用synchronized关键字或锁:使用synchronized关键字或显式锁(如ReentrantLock)来保护对共享变量的访问,通过加锁和解锁的机制来确保共享变量的可见性。在多线程环境下,由于线程之间的独立执行和缓存的存在,一个线程对共享变量的修改对其他线程来说可能是不可见的。为了确保可见性,可以使用。这些类使用了底层的原子操作来实现对变量的原子性更新和读取,并提供了可见性的保证。

weixin_48912068的博客 774

FPGA实战:手把手教你实现雷达信号数字下变频(DDC)完整流程

本文提供了一份完整的FPGA实现雷达信号数字下变频(DDC)的实战指南。内容涵盖从Matlab行为级仿真到FPGA硬件实现的完整闭环流程,详细讲解了数字混频、滤波、抽取等核心步骤,并分享了基于Vivado的IP核配置、数据位宽量化及资源优化等关键工程实践经验,旨在帮助读者掌握DDC系统的硬件实现与调试。

dog123的博客 342

Spring保持事务统一的方式

Spring保持事务统一的方式

m0_46612024的博客 1601

特殊通信领域场景应用:基于Simulink的数字预失真(DPD)算法仿真建模示例

增益压缩:高功率输入时输出信号的增益下降。相位失真:输入信号的相位随功率变化而改变。带外干扰:非线性失真会引入额外的频谱分量,影响邻道信号。多项式模型:用多项式拟合功率放大器的非线性特性。查找表(LUT):通过离线训练生成预失真映射表。自适应算法:实时调整预失真参数以动态补偿失真。发送端:生成随机比特流并调制为射频信号。预失真模块:对输入信号进行预失真处理。功率放大器模块:模拟非线性失真。接收端:解调信号并评估误码率(BER)。

xiaoheshang_123的博客 274

华为OD机考双机位C卷 - 打印机队列 (Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 打印机队列

算法大师! 4620

多线程事务如何保证效率和原子性

这里细心些就会发现,即便是主线程通知子线程可以提交了,子线程依然有可能出现提交失败的可能,那其他线程提交事务是无法得知这边的失败的消息的。需要注意如果只是传递普通的 boolean 对象,可能会发生不一致的情况,我测试时没法通过。在 Spring 开发时,遇到一个从 Excel 表导入数据到数据库的需求,当然最简单的方法就是先使用 EasyExcel 把数据读出到集合中,然后依次插入到数据库中。每个线程开启事务,插入数据,但不提交,向主线程通知说,我这里已经好了。Volatile保证线程间数据的可见性。

外星喵的博客 1477

OpenClaw 报错 npm install failed; cleaning up and retrying...:原生模块编译失败

本文针对OpenClaw项目在部署时出现的"npm install failed"报错问题进行分析,指出该问题源于Node.js原生模块编译链缺失。文章详细列举了常见触发原因,包括缺少gcc/make、Python版本不符、Node版本过新等,并提供了五种解决方案:安装完整编译环境、配置node-gyp Python、重新编译原生模块、切换Node版本以及单独重建失败模块。最后强调在国产服务器环境下部署AI工程时,补齐编译环境和使用稳定Node版本是解决问题的关键,该方案可复用解决

博客 1801

多线程保证事务原子性-Spring事务的手动提交:基于Mybtais的多线程事务的手动提交

我们的要将数据同步到两个表里面,这两个表是不相关的,因为我们传输的数据量过大所以接口超时了,为了优化提高接口效率+这两个表是不相关的表,所以我们可以上我们的多线程分别插入数据这样子来优化。

LUCIAZZZ的博客 1252

【CAN总线测试】——通讯相关诊断测试

本章主要介绍通讯相关诊断测试用例设计

LOVE135149的博客 1818

Eplan设计师必会—伺服安全回路的设计方法

本文介绍了在EPLAN中设计伺服STO安全回路的方法。首先需查阅伺服驱动器说明书确定STO接线端子,重点关注双通道配置。设计步骤包括:使用黑盒子功能绘制驱动器外形,正确标注STO接线点,并连接安全继电器或PLC的安全输出。关键注意事项有:必须采用双通道独立布线,确保同步动作,遵循故障安全原则,使用常闭触点串联回路。文中以西门子V90和汇川伺服为例说明具体接线要求,并附有项目实例参考。

Qinmingyue13的博客 437

Spring Transaction 事务模拟

事务,是描述一组操作的抽象,比如对数据库的一组操作,要么全部成功,要么全部失败。 事务有四个特性: Atomicity(原子性),Consistency(一致性),Isolation(隔离性),Durability(持久性) Spring对事务的支持很强大,但是从本质上来说,事务是否生效取决于数据库底层是否支持(MySQL的MyISAM引...

digufei5769的博客 136

【华为OD机试真题】2、在字符串中找出连续最长的数字串含+-号 | 机试真题+思路参考+代码解析(C++、Java、Py)

题目描述 >请在一个字符串中找出连续最长的数字串,并返回这个数字串。 如果存在长度相同的连续数字串,返回最后一个。 如果没有符合条件的字符串,返回空字符串””。   注意: 数字串可以由数字”0-9″、小数点”.”、正负号”±”组成,长度包括组成数字串的所有符号。 “.”、“±”仅能出现一次,”.”的两边必须是数字,”±”仅能出现在开头且其后必须要有数字。 长度不定,可能含有空格

KJ.JK 6275

厉害,竟然徒手写出来了Spring事务的核心代码!

# 前言 事务,是描述一组操作的抽象,比如对数据库的一组操作,要么全部成功,要么全部失败。事务具有4个特性:Atomicity(原子性),Consistency(一致性),Isolation(隔离性),Durability(持久性)。在实际开发中,我们对事务应用最多就是在数据库操作这一环,特别是Spring对数据库事务进行了封装管理。 Spring对事务的支持,确实很强大,但是从本质上来讲:事务是否生效取决数据库底层是否支持(比如MySQL的MyISAM引擎就不支持事务,Spring能奈何!),同时一个

AMSRY的博客 353

【WLAN】【调试】再谈如何使用Wireshark解密WiFi数据包——使用TK信息

- 本文介绍了一种wireshark使用TK信息解密空口报文的方式,该方式对是否有关联过程的报文没有要求。

一介草民,只为生活。 1190

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Java 事务机制

Java 事务机制 标签(空格分隔): jdbc 事务 java 事务的属性 原子性:对数据要么不修改,要么修改全部执行 一致性:事务执行前后数据状态不发生改变 隔离性:一个事务的处理结果不能影响另一个事务的处理 持续性: 事务处理结束,其效果在数据库中持久化。 事务中可能出现的问题 脏读 事务A读取了事务B未提交的数据,事务B发生错误进行回滚。 不可重复读 事务A的操作导致事务B在操作...

haliaddel的博客 809

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

11月16日牛客刷题记录

Spring提供了AOP方式的日志系统 Spring并没有为我们提供日志系统,我们需要使用AOP(面向方面编程)的方式,借助Spring与日志系统log4j实现我们自己的日志系统。

sora_2021的博客 1082

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

社招和校招有什么不同?阿里美团等大厂 JAVA 社招面经分享

多线程并发编程: 线程池的构造参数及其含义,如何确定线程池中线程的个数等 定时线程池如何实现的? synchronized,volatile 关键字 原子性,可见性与有序性 可重入的锁 ReentrantLoc ThreadLocal 的实现原理 AQS 底层实现,与 ReentrantLock 的关系 JVM 知识点: 内存区域划分 OOM 介绍 对象分配与回收 CMS 和 G1 垃圾收集器 对象可达性分析 类加载机制 JVM 调优参数 Full GC,Minor ...

m0_67698950的博客 2608

Spring多线程事务能否保证事务的一致性

Spring的事务信息是存在ThreadLocal中的,所以一个线程永远只能有一个事务。因此Spring的事务是无法实现事务一致性的。这里有个事务方法A,在这个方法中创建了一个线程,线程里面去调用B。那么这个时候,A和B能保证数据的一致性或者原子性吗?也就是A失败了,B是否会正常提交。B失败了, A是否会一起回滚。答案是不能保证一致性以及原子性的。可以通过编程式事务,或者通过分布式事务的思路:二阶段提交方式。

qq_46130027的博客 556

大厂面试真题-Spring多线程事务是否能保证事务的一致性,如果能说说原因,如果不能应该如何解决

这是因为Spring的本地事务管理是基于线程的,每个线程都有自己独立的事务,事务信息(包括Connection)存储在ThreadLocal中,这意味着每个线程只能拥有一个事务。这确保了在单个线程内的数据库操作处于同一个事务中,从而保证了原子性,但无法跨线程保证事务的一致性。

个人专长:数据结构和算法、大数据、数据库、主流框架 1238

如何管理Spring Boot的多线程事务?

Spring Boot多线程事务处理需注意ThreadLocal特性导致的事务隔离问题。本文通过用户信息更新和短信通知的典型场景,分析了错误实现会导致的数据不一致问题,并给出了正确解决方案:1)主事务记录任务状态到本地表;2)子线程独立事务处理任务;3)定时任务补偿机制。关键注意事项包括避免跨线程共享事务、明确传播行为、隔离异常处理以及合理管理线程池。

软件行业技术文化交流。 1338

Redis中的事务和原子性

Redis 中的事务和原子性是保证操作一致性和可靠性的关键。Redisson 和 Spring Data Redis 在处理原子性操作时有显著区别。Redisson 通过封装 Lua 脚本或 Redis 事务,简化了开发,适合分布式集合操作和锁场景。Spring Data Redis 则需开发者显式使用 Lua 脚本或事务,适合高性能缓存和复杂业务逻辑。Redisson 默认线程安全,开发简单但可能引入额外开销;Spring Data Redis 性能更高,但开发复杂度较大。选择工具时,应根据具体需求决定:

北冥的博客 1411

Spring多线程事务 能否保证事务的一致性

总之,在多线程环境中,Spring的本地事务管理需要额外的协调和管理才能实现事务一致性。这可以通过编程式事务、分布式事务管理器或二阶段提交等方式来实现,具体取决于您的应用程序需求和复杂性。在多线程环境下,Spring事务管理默认情况下无法保证全局事务的一致性。这是因为Spring的本地事务管理是基于线程的,每个线程都有自己的独立事务。

越努力越幸运。 803
上一篇: 微信开源 PhxQueue:“三高“的分布式队列
下一篇: Tendis(Redis)冷热混合存储怎么解决缓存击穿、雪崩、一致性3大难题
Jack爱258
博客等级 码龄10年 1288粉丝 124原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值