上传视频文件，基于断点续传（整合Minio）

目录

1、什么是断点续传

2、分块文件

3、合并文件

4、 Minio 分布式文件系统整合断点续传

4.1 进行文件分块上传到 Minio 

4.2 进行 Minio 中分块文件的合并

5、使用 Minio 进行断点续传的注意事项

---

 

        相信很多小伙伴在上传下载图片或者视频的时候，突然间（没错就是这么秃然），断电或者断网了，但是等恢复正常后，之前的图片或视频又需要重0开始进行上传或者下载！体验感那可是相当的差劲，这不，断点续传技术孕育而生......

1、什么是断点续传

由来：

传统的文件传输方式通常是一次性地将整个文件进行传输，如果在传输过程中发生中断或失败，需要重新开始传输整个文件，这可能会浪费时间和带宽资源。而通过断点续传的机制，可以在传输过程中记录下已经成功传输的部分，如果传输中断，则可以从中断的位置继续传输，节省时间和资源

定义：

断点续传指的是在下载或上传时，将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到网络故障，可以从已经上传或下载的部分开始继续上传下载未完成的部分，而没有必要从头开始上传下载，断点续传可以提高节省操作时间，提高用户体验性

断点续传通常涉及以下几个关键要素：

• 传输状态的保存：需要在传输过程中记录已经成功传输的部分，通常使用文件或数据库来保存传输状态信息

• 传输中断的处理：当传输中断时，需要能够检测到中断事件，并记录下中断的位置信息

• 传输的恢复：在中断后重新开始传输时，根据记录的中断位置信息，可以通过读取文件或数据库中的状态信息，定位到中断的位置，并从该位置开始继续传输

• 数据校验：为确保传输的准确性，通常会使用校验和或哈希算法对传输的数据进行校验，以检测数据的完整性

断点续传大致流程图：

流程解读：

前端上传文件前，先将其分成若干块  >>>>>>  一块一块的上传，上传中断后重新上传，已上传的分块则不用再上传  >>>>>>  各分块上传完成最后在服务端合并文件

---

2、分块文件

定义：

分块文件（Chunked File）是将一个文件切分为较小的块或片段的文件格式或存储方式。每个块都是源文件的一部分，通过切分和组合这些块，可以还原出完整的原始文件

使用场景：

• 分布式存储：在分布式系统中，将大文件切分为多个块并存储在不同的节点上。这种方式可以提高存储和读取的效率，并允许数据并行处理

• 块存储设备：某些存储设备（如磁盘阵列）将数据组织为固定大小的块，并使用块地址来访问和管理数据

• 数据传输和网络传输：通过将文件切分为多个块，可以分批传输和处理大文件，从而提高数据传输的速度和可靠性

• 容灾备份：将文件切分为多个块，并存储在不同的位置或设备上，以提供容灾备份和恢复能力

代码实现：

首先，我们得指定需要进行分块传输的视频文件以及分块存储的目的地；同时，因为文件需要分块，所以要定义每个分块文件的大小

//1.指定目标源文件
File sourceFile = new File("C:\\Users\\DELL\\Videos\\cy01.mp4");

//2.分块文件的存储路径
String chunkPath = "C:\\Users\\DELL\\Videos\\chunk\\";
//2.1分块文件的大小
int chunkSize = 1024*1024;  //兆 MB
//2.2分块文件的个数
int chunkNum = (int) Math.ceil(sourceFile.length()*1.0 / chunkSize);  //进行向上取整

一开始，该分块路径下并没有任何的文件

        然后，经过上面的定义过后，使用流的方式进行读写文件数据

        这里，选择使用 RandomAccessFile类 用于对文件进行随机访问，即可以在文件中以任意顺序读取和写入数据。相比于其他文件读写类，RandomAccessFile 提供了更灵活的访问方式，其具有：非顺序访问、可读写性、文件编辑与更新、大型文件的处理以及记录式文件的处理功能

        总之，RandomAccessFile类 的作用是提供对文件的随机访问功能，可以根据需要定位到文件的任意位置进行读取和写入。它适用于需要处理大文件、进行非顺序访问以及在特定位置修改数据等场景

//3.使用流从源文件上读数据，向分块文件中写数据

        byte[] bytes = new byte[1024];

        //3.1 读数据
        RandomAccessFile readInfo = new RandomAccessFile(sourceFile, "r");
        for(int i=0;i<chunkNum;i++){
            File chunkFile = new File(chunkPath + i);
            //3.2写数据
            RandomAccessFile writeInfo =