UD在线学习网站开发日记（二）丨媒资管理模块-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_48132671/article/details/132233938

本文探讨了Spring事务管理中遇到的问题，如事务失效的处理，以及分布式事务控制（如使用Seata和消息队列）和CAP理论的理解，还介绍了BASE理论和常见的分布式事务技术方案，如TCC和最终一致性实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开发中遇到的问题

1、Spring事务失效

在媒资管理模块进行视频添加的时候，除了需要将视频存入到MinIo以外，还需要将视频的元信息存入到数据库。此时存入库的方法需要添加@Transactional注解，然后主方法会调用入库方法完成视频元信息的入库。直接调用入库方法会导致事务失效，需要通过代理对象来进行入库方法的调用才能够保证事务不会失效。我的做法是：在接口实现类中注入接口：

@Autowired
MediaFileService currentProxy;
@Override
public UploadFileResultDto uploadFile(Long companyId, UploadFileParamsDto uploadFileParamsDto, String localFilePath) {
    //入库文件信息
    MediaFiles mediaFiles = currentProxy.addMediaFilesToDb(companyId, fileMd5, uploadFileParamsDto, bucket_mediafiles, objectName);
}
@Transactonal
public MediaFiles addMediaFilesToDb(Long companyId,String fileMd5,UploadFileParamsDto uploadFileParamsDto,String bucket,String objectName){
    //将文件信息保存到数据库
  
}

除此之外还有几种可能会导致Spring事务失效：

1、在方法中捕获异常没有抛出去。

2、非事物方法调用事务方法

3、事务方法内部调用事务方法。

4、@Transational标记的方法不是public

5、数据库表不支持事务

6、spring的传播行为导致事务失效

7、抛出的异常与rollbackfor指定的异常不匹配，默认rollbackfor指定的异常为RuntimeException。

2、断点续传

防止用户在上传视频时因为网络波动导致上传中止不得不重新上传。

前端对文件分块
前端使用多线程一块一块上传，上传前通过服务端进行校验，检查这个块是否被上传过，如果已上传就不再上传。
等所有分块都上传到minio的指定路径下之后，前端向服务端发送合并请求，开始合并所有分块。
发送合并请求的同时，前端会针对该文件计算md5值，然后向服务端发送。服务端合并之后计算MD5值，并且与前端发来的md5值进行比较。如果相等则证明文件完整，如果不相等，需要重新上传。

3.分块文件清理的问题

上传一个视频文件，若上传到一半不上传了。那minio中关于这个视频的分块的数据就变成了垃圾。此时就需要进行删除。

1、在数据库中维护一张表，表中记录了视频文件的上传状态。当文件开始上传时状态为0，上传成功时状态为1。若发生这种情况，则会启动一个定时任务去查询文件表中的记录，到达一定时间后会删除状态为0的数据。

4.xxl-Job的作业分片方案

首先每个执行器收到广播任务都会被分配两个参数：1、执行器自己的编号 2、总执行器的数量

任务编号对执行器数量取余，得到的值就是执行器的编号。然后让这个编号的执行器去运行。

5.保证任务不重复执行

问题详情：通过作业分片方案解决了任务不被重复分配的问题，但是如果一个执行器在处理视频的过程中调度中心又请求一次调度，为了不重复处理应该怎么办

1.调度过期策略

调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
可设置为忽略。

2、阻塞处理策略

阻塞处理策略就是当前执行器正在执行任务还没有结束时调度中心进行任务调度，此时该如何处理。

单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

3.幂等性处理：

幂等性是指多次执行任务对最后的结果不造成影响。

解决幂等性问题：

1、数据库约束，比如唯一索引，主键。

2、乐观锁，更新数据时根据乐观锁状态去更新。

3、唯一序列号，比如token

在本项目中采用的是在视频记录行中添加一个视频是否完成处理的字段。如果为1表示视频已经处理完。

6.Mq和定时任务调度的区别

定时任务是时间驱动，⽽MQ是事件驱动。

时间驱动是不可代替的，⽐如⾦融系统每⽇的利息结算，不是说消息来⼀条就算⼀下，⽽往往是通过定时任务批量计算。

定时任务作业更倾向于批处理，MQ倾向于逐条处理。

7.xxl_job的工作原理

XXL_Job是分布式任务调度器，由调度器和执行器组成，调用中心负责按照任务调度策略向执行器下发任务，执行器负责接受并执行任务。

1、首先部署xxl_job调度中心

2、在为服务中添加xxl_job依赖

3、启动微服务，执行器向调度中心上报自己

4、在微服务中，在xxl_job注解下写一个任务方法。

5.在调度中心进行配置

6、在调度中心启动任务

7、调度中心根据任务调度策略，到达时间就开始下发任务给执行器

8.执行器开始执行

8 什么是分布式事务

一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据，这里存在分布式事务问题。

什么是分布式事务？

首先理解什么是本地事务？

平常我们在程序中通过spring去控制事务是利用数据库本身的事务特性来实现的，因此叫数据库事务，由于应用主要靠关系数据库来控制事务，此数据库只属于该应用，所以基于本应用自己的关系型数据库的事务又被称为本地事务。

本地事务具有ACID四大特性，数据库事务在实现时会将一次事务涉及的所有操作全部纳入到一个不可分割的执行单元，该执行单元中的所有操作要么都成功，要么都失败，只要其中任一操作执行失败，都将导致整个事务的回滚。

理解了本地事务，什么是分布式事务？

现在的需求是课程发布操作后将数据写入数据库、redis、elasticsearch、MinIO四个地方，这四个地方已经不限制在一个数据库内，是由四个分散的服务去提供，与这四个服务去通信需要网络通信，而网络存在不可到达性，这种分布式系统环境下，通过与不同的服务进行网络通信去完成事务称之为分布式事务。

在分布式系统中分布式事务的场景很多：

例如用户注册送积分，银行转账，创建订单减库存，这些都是分布式事务。

拿转账举例：

我们知道本地事务依赖数据库本身提供的事务特性来实现，因此以下逻辑可以控制本地事务：

Java
begin transaction；
//1.本地数据库操作：张三减少金额
//2.本地数据库操作：李四增加金额
commit transation;

但是在分布式环境下，会变成下边这样：

Java
begin transaction；
//1.本地数据库操作：张三减少金额
//2.远程调用：让李四增加金额

commit transation;

可以设想，当远程调用让李四增加金额成功了，由于网络问题远程调用并没有返回，此时本地事务提交失败就回滚了张三减少金额的操作，此时张三和李四的数据就不一致了。

因此在分布式架构的基础上，传统数据库事务就无法使用了，张三和李四的账户不在一个数据库中甚至不在一个应用系统里，实现转账事务需要通过远程调用，由于网络问题就会导致分布式事务问题。

下边的场景都会产生分布式事务：

微服务架构下：