spring大文件分块上传原理解析

最新推荐文章于 2025-03-15 18:20:00 发布

放逐的信仰

最新推荐文章于 2025-03-15 18:20:00 发布

阅读量1k

点赞数 1

分类专栏： spring

spring 专栏收录该内容

2 篇文章

订阅专栏

本文探讨了不同大小文件的上传策略，重点介绍了500M以上文件使用HTTP协议分块上传的方法。通过MD5值唯一标识文件避免重复上传，前端实现文件分块，后端利用FileChannel进行分块合并。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这两天关于大文件上传这个问题搞得很是头疼，昨天下班回去调研了下，对于不同大小的文件对应有几种解决办法:

500M以下的用http协议传输(网上一搜大把的)
500M以上1G以下的用http协议分块或者ftp协议传输
1G以上的只能用ftp协议传输

第一种很简单，博主在这里就不谈了。
第二种是博主最近几天一直在考虑的。谁知昨天天无意中看到了原同事(大神级别)博客的一篇文章，算是大致明白了http协议分块传输原理。要想分块要解决下面几个问题:

1已上传的文件怎么唯一标识，然后不用再次上传
2.前端怎么分块
3.后端怎么接受分块，组装多个分块

一、取文件的md5值，上传后把md5存数据库；再次上传时获取前端传来的md5到数据库中查询，如果已存在，则不用再次上传

二、关于前端分块，请参考http://fex-team.github.io/webuploader/

三、后端接受分块

1.每当一个分块到来，后端根据其带的md5在服务器创建一个同名的文件夹，并根据块的索引，创建同名的文件(0,1,2...)，并用spring mvc上传到服务器。
2.当所有的分块都传完后，前端像后端发送合并的请求，那么问题来了，怎么合并呢?
答案就是：FileChannel
下面上干货

FileChannel outChannel = new FileOutputStream(outputFile).getChannel();

                //合并
                FileChannel inChannel;
                for(File file : files){
                    inChannel = new FileInputStream(file).getChannel();
                    inChannel.transferTo(0, inChannel.size(), outChannel);
                    inChannel.close();

                    //删除分片
                    if(!file.delete()){
                        log.error("分片[" + folder + "=>" + file.getName() + "]删除失败");
                    }
                }
                outChannel.close();

关于ftp上传，也是博主下一步考虑的事情，敬请期待。