1.前端断点续传
前端记录断点,将断点生成跟上传文件同名的.json文件,保存到oss中。当再次上传时,先访问oss获取.json文件,将断点信息传给oss,上传成功后删除.json文件。
2.后端断点续传
后端上传会在上传文件地址的同路径下创建一个同名的.ucp文件,当再次上传时,读取.ucp文件断点,进行断点续传,上传成功会自动删除.ucp文件。
3. 后端OSS数据存储
1)需要一个文件记录表,文件记录表删除已经保存的文件记录,OSS删除相同记录的过时文件。
2)查询数据库数据总数,除以5000取商和余数,有余数则商加1。
3)执行以下操作:
I.取第1个5000条数据,生成第part(1)个文件,存入OSS中,并将该条文件信息存入文件记录表中。(ps:数据以流的形式传到oss中,后端服务器本地不产生文件。)
II.依次循环生成part(N)个文件,存入OSS中,并将该条文件信息存入文件记录表中。(N为数据总数除以5000取商,有余数则商加1)这样将大数据切割成每5000条数据一个文件的多个文件。
4)若数据量较少可以一个文件存放,不需要分成多个文件。
5)数据量较大时,查询数据并生成文件上传oss,占用后端服务器开销较大,建议服务器相对空闲时执行。