大文件的分片转移

sbdx

已于 2023-06-13 17:34:02 修改

阅读量138

点赞数

文章标签： mysql 数据库服务器

于 2023-06-09 16:40:02 首次发布

本文链接：https://blog.youkuaiyun.com/sbdx/article/details/131130422

版权

当遇到50GB的大文件需要通过HTTP且有400MB限制的网关传输时，可以使用Linux的split命令将文件分割成1MB的小块，如db0000到db0111，然后利用curl逐个上传。之后在目标端通过cat命令将所有小文件合并回原始文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求

超大文件(50G+)需要通过边界网关转移，网关支持HTTP拉取文件，但是有400M的限制。

直接上方案

#先用split切割
#-d 表示输出文件名为数字增量
#-a 几位数
#-b 按字节切割，可选KMGTPEZY
#最后一个参数db 表示生成文件名的前缀
split -d -a 4 -b 1M mysql.tar db

会产生

db0000 db0001 db0002 ......

然后传送…

# #1表示占位符 ，对应后面的[...]
curl -o db#1 http://xxxxx/db[0000-0111]

最后合并

cat db* >mysql.tar