OSS大文件上传—断点续传

1.前端断点续传

前端记录断点,将断点生成跟上传文件同名的.json文件,保存到oss中。当再次上传时,先访问oss获取.json文件,将断点信息传给oss,上传成功后删除.json文件。

2.后端断点续传

后端上传会在上传文件地址的同路径下创建一个同名的.ucp文件,当再次上传时,读取.ucp文件断点,进行断点续传,上传成功会自动删除.ucp文件。

3. 后端OSS数据存储

1)需要一个文件记录表,文件记录表删除已经保存的文件记录,OSS删除相同记录的过时文件。

2)查询数据库数据总数,除以5000取商和余数,有余数则商加1

3)执行以下操作:

I.取第15000条数据,生成第part(1)个文件,存入OSS中,并将该条文件信息存入文件记录表中。(ps:数据以流的形式传到oss中,后端服务器本地不产生文件。)

II.依次循环生成part(N)个文件,存入OSS中,并将该条文件信息存入文件记录表中。(N为数据总数除以5000取商,有余数则商加1)这样将大数据切割成每5000条数据一个文件的多个文件。

4)若数据量较少可以一个文件存放,不需要分成多个文件。

5)数据量较大时,查询数据并生成文件上传oss,占用后端服务器开销较大,建议服务器相对空闲时执行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值