rsync 断点续传 限速

rsync

https://blog.youkuaiyun.com/u014389734/article/details/119793591

rsync-linux断点续传(超越scp)
https://juejin.cn/post/7021503974175932453

什么是断点续传?
在网络状况不好的情况下,对于文件的传输,我们希望能够支持可以每次传部分数据。断点续传其实正如字面意思,就是在下载的断开点继续开始传输,不用再从头开始。所以理解断点续传的核心后,发现其实和很简单,关键就在于对传输中断点的把握,我就自己的理解画了一个简单的示意图:
Linux断点续传文件
在Linux系统上传与下载文件的时候,很容易断开,或者是大文件传输,如何在断开后继续传输不用重新开始,这里我们可以用到Linux的rsync
使用说明
文件断点下载
rsync -P --rsh=ssh root@192.168.0.11:/root/large.tar.gz /dounine/targe.tar.gz
文件断点上传
rsync -P --rsh=ssh /dounine/targe.tar.gz root@192.168.0.11:/root/large.tar.gz
文件目录断点下载
rsync -P --rsh=ssh -r root@192.168.0.11:/root/storage /dounine
文件目录断点上传
rsync -P --rsh=ssh -r /dounine root@192.168.0.11:/root/storage
后台运行,将以上脚本放入shell文件中
cat bg.sh
rsync -P --rsh=ssh -r root@192.168.0.11:/root/storage /dounine &
后台运行
chmod +x bg.sh
nohup ./bg.sh

rsync + ssh 断点续传
#rsync同步本地文件 filename 到远程机器 192.168.188.188 服务器的/data/tmp目录下
rsync -avzP -e ‘ssh -p 61204’ --bwlimit=5000 filename username@10.20.90.101:/data/tmp/ >> scp_to_101.log
-a:以archive模式操作,复制目录、符号连接,等价于 -rlptgoD 。
-v:详细提示
-z:压缩
-P:是综合了–partial --progress两个参数
–partial
如果在拷贝文件的过程中,传输被中断,rsync的默认操作是撤消前操作,即从目标机上删除已拷贝的部分文件。
如果想在下次拷贝时续传文件,不需要重新拷贝所有文件的话,可以使用-partial选项阻止rsync在传输中断时删除已拷贝的部分
–progress 显示进度条
-e:参数的作用是可以使用户自由选择欲使用的shell程序来连接远端服务器
ssh -p 61204 指定ssh的端口(非默认22)61204
–bwlimit: --bwlimit=5000 限制带宽为5000k Bytes/s =5MB
上例:使用rsync传输本地文件filename到192.168.188.188的/data/tmp目录下 使用压缩归档传输、限速5MB、支持断点续传 使用ssh协议

screen
四、使用screen

screen -S myjobs

会弹出一个新的会话框,输入您想要输入的耗费时间的命令,然后测试一下网络中断

screen -r myjobs(恢复)

然后就可以看到命令执行的进度了。而且,在你断网的这一段时间里,服务器端的命令一直在运行着。

<think>好的,我现在需要帮助用户了解rsync命令的详细用法和参数说明。用户之前询问了关于磁盘空间和inode的问题,现在转向rsync的使用,可能是在处理文件同步或备份时遇到问题。根据用户提供的引用内容,我需要整合这些信息,并结合rsync的基本用法、参数说明以及常见场景来组织回答。 首先,用户提供的引用1提到rsync基于SSH的认证,以及-a参数的作用。引用2列出了rsync的六种命令格式和工作模式,引用3则概述了rsync的功能和优势。我需要确保回答覆盖这些内容,同时补充其他常用参数和示例。 用户可能希望了解如何在不同情况下使用rsync,比如本地同步、远程同步、使用SSH等。需要分点说明基本用法,参数详解,并给出具体例子。还要注意用户可能对增量传输、权限保持等特性感兴趣,所以需要强调-a参数的重要性,以及如何结合其他参数使用。 另外,用户之前的问题涉及磁盘空间管理,可能在使用rsync时需要注意存储效率,比如排除临时文件或日志,避免不必要的传输。因此,在示例中可以加入排除参数的用法。 最后,生成相关问题时要围绕rsync的进阶使用、常见问题解决以及与其他工具的比较,帮助用户深入学习和应用。</think>### rsync命令详解与使用指南 #### 一、核心特性 rsyncLinux/Unix 系统中的**增量文件传输工具**,其核心优势在于: 1. 仅传输差异内容(增量传输),效率比常规复制高 10 倍以上[^3] 2. 支持保留文件权限、时间戳等元数据(通过 `-a` 参数) 3. 支持本地与远程同步(通过 SSH 或 daemon 模式) 4. 支持断点续传和压缩传输 #### 二、六大命令格式与场景 根据引用[2]的规范,rsync 有以下六种基本格式: ```bash # 格式1:本地同步 rsync -a /source/path/ /dest/path/ # 格式2:推送到远程(SSH) rsync -avz -e "ssh -p 2222" /local/dir user@remote:/remote/dir # 格式3:从远程拉取(SSH) rsync -avz user@remote:/remote/file /local/path # 格式4:远程daemon模式拉取 rsync -av user@remote::module/path /local/path # 格式5:推送到daemon服务 rsync -av /local/path user@remote::module # 格式6:使用rsync协议URL rsync -av rsync://user@remote:873/module/path /local/dest ``` #### 三、关键参数详解 | 参数 | 作用 | 典型场景 | |------|------|----------| | `-a` | 归档模式(包含`-rlptgoD`) | 保留权限、时间戳等[^1] | | `-v` | 显示详细传输过程 | 调试观察文件列表 | | `-z` | 压缩传输数据 | 慢速网络环境 | | `-P` | 显示进度+断点续传 | 大文件传输中断恢复 | | `--delete` | 删除目标多余文件 | 镜像同步 | | `--exclude` | 排除指定模式文件 | 过滤日志/临时文件 | | `-n` | 模拟运行(dry-run) | 危险操作前验证 | #### 四、典型应用场景 1. **本地目录同步**(保留软链接): ```bash rsync -av --copy-links /source/ /backup/ ``` 2. **远程增量备份**(通过 SSH 端口 2222): ```bash rsync -avz -e "ssh -p 2222" \ --exclude='*.log' \ /data/ user@backup-server:/backups/ ``` 3. **生产环境热备份**(保持严格一致性): ```bash rsync -av --checksum --delete \ /var/www/ web-bak:/mirror/www/ ``` 4. **带宽限制传输**(限速 1MB/s): ```bash rsync -avz --bwlimit=1024 \ largefile.iso user@remote:/storage/ ``` #### 五、高级技巧 1. **保护元数据**:使用 `-X` 保留扩展属性,`-A` 保留 ACL 2. **空间优化**:添加 `--min-size=1M` 过滤小文件,避免 inode 浪费(结合用户历史问题[^1]) 3. **安全检查**: ```bash rsync -avn --delete /source/ /dest/ # 先模拟删除操作 ``` #### 六、性能调优 1. **网络优化**: ```bash rsync -avz --compress-level=3 # 降低CPU负载的压缩 ``` 2. **磁盘IO优化**: ```bash rsync -av --no-whole-file --inplace # 增量修改文件块 ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值