【Linux入门】rsync -优快云博客

本文链接：https://blog.youkuaiyun.com/pythonsys/article/details/149331955

一、rsync 简介：从 “同步需求” 到工具诞生

1.1 什么是 rsync？
rsync（Remote Sync）是一款开源的文件同步工具，由 Andrew Tridgell 和 Paul Mackerras 于 1996 年开发，最初设计用于解决 “高效跨设备文件同步” 问题。它的核心功能是在本地与本地、本地与远程（通过 SSH、rsync 协议等）设备间同步文件，且仅传输文件的差异部分，而非完整文件，因此比传统复制工具（如 cp、scp）更高效。

1.2 为什么需要 rsync？
在 rsync 出现前，文件同步面临两大痛点：

传统复制工具（cp、scp 等）传输大文件时，即使文件仅微小修改，也需全量传输，浪费带宽和时间；
跨网络同步时，全量传输对网络稳定性要求高，中断后需重新开始。
rsync 的诞生正是为解决这些问题，其核心价值在于 “增量传输” 和 “断点续传”（配合选项可实现）。

1.3 rsync 的核心优势

增量传输：仅传输文件差异部分，减少数据传输量；
多场景支持：支持本地文件同步、远程服务器同步（通过 SSH/rsync 协议）、跨平台兼容（Linux、Windows、macOS）；
灵活可控：支持压缩传输、权限保留、排除指定文件等功能；
安全性：可通过 SSH 协议加密传输，避免数据泄露。

二、rsync 工作原理：“智能” 的底层逻辑

2.1 核心：如何识别 “变化的部分”？
rsync 的 “智能” 源于其独特的 “差异检测算法”，核心步骤分为 3 步：

（1）生成 “校验和”（Checksum）
发送端（源文件所在设备）会将文件分割成固定大小的 “块”（默认约 4KB），为每个块计算两个值：

弱校验和：采用滚动哈希（如 Adler-32），计算快，用于快速排除明显不同的块；
强校验和：采用 MD5 或 SHA1，计算慢但精准，用于确认块是否真正相同。

（2）对比差异
发送端将这些校验和发送到接收端（目标设备），接收端会对本地已有的文件（或空文件）做同样的分块和校验和计算，然后对比两组校验和：

若某块校验和完全一致，说明内容相同，无需传输；
若不一致，标记为 “待传输块”。

（3）传输差异块
发送端仅将 “待传输块” 发送给接收端，接收端将这些块拼接，生成与源文件一致的新文件。

注：对于新增文件，rsync 会直接传输完整文件；对于删除的文件，可通过选项（如 --delete）让接收端同步删除。

2.2 工作模式：本地与远程的同步方式
rsync 支持多种同步场景，核心模式分为两类：

（1）本地模式
格式：rsync [选项] 源路径目标路径
例：rsync -av /home/doc /backup（同步本地 /home/doc 到 /backup）

（2）远程模式
通过网络同步，依赖 SSH（默认端口 22）或 rsync 协议（默认端口 873），格式有两种：

远程 SSH 模式：rsync [选项] 源路径用户名@远程IP:目标路径
例：rsync -av /home/photo user@192.168.1.100:/home/backup（本地同步到远程）
远程拉取模式：rsync [选项] 用户名@远程IP:源路径本地目标路径
例：rsync -av user@192.168.1.100:/var/log /local/log（从远程同步到本地）
rsync 协议模式：需在远程端启动 rsync 服务（如rsync --daemon），格式为rsync [选项] rsync://用户名@远程IP/模块名目标路径（模块名需在远程端配置文件中定义）。

2.3 增量传输的 “升级版”：增量递归与压缩

增量递归：对目录同步时，rsync 会递归检查子目录中所有文件的差异，而非仅比较目录整体；
压缩传输：通过-z选项启用 gzip 压缩，传输前压缩文件内容，减少网络传输量（适合带宽有限的场景）。

三、rsync 安装与基础配置

3.1 安装 rsync

Linux（Debian/Ubuntu）：sudo apt install rsync
Linux（CentOS/RHEL）：sudo yum install rsync
macOS：系统自带（可通过brew install rsync升级最新版）
Windows：需安装 Cygwin 或 WSL（Windows Subsystem for Linux），或使用第三方工具（如 cwRsync）。

3.2 验证安装
输入rsync --version，显示版本信息即安装成功（如rsync version 3.2.7 protocol version 31）。

3.3 基础配置文件（可选）
rsync 的全局配置文件为/etc/rsyncd.conf（仅远程 rsync 协议模式需要），用于定义同步模块、权限等，示例：

conf

# 全局设置
uid = nobody          # 运行rsync的用户
gid = nobody          # 运行rsync的组
use chroot = yes      # 限制在指定目录，增强安全性
max connections = 4   # 最大连接数
pid file = /var/run/rsyncd.pid  # 进程ID文件
log file = /var/log/rsyncd.log  # 日志文件

# 定义同步模块（模块名自定义，如backup）
[backup]
path = /data/backup    # 模块对应的本地目录
comment = Backup Files  # 模块描述
read only = no         # 允许写入（yes为只读）
list = yes             # 允许列出模块
auth users = rsyncuser # 授权用户（需配合密码文件）
secrets file = /etc/rsyncd.secrets  # 密码文件（格式：用户名:密码）

3.4 启动 rsync 服务（远程协议模式）

启动：sudo systemctl start rsyncd
设为开机启动：sudo systemctl enable rsyncd
检查状态：sudo systemctl status rsyncd

四、rsync 常用选项：掌控同步细节

rsync 的选项众多，掌握核心选项可满足 90% 的场景，按功能分类如下：

4.1 基础同步选项

-v（verbose）：显示详细输出（如传输的文件名、进度）；
-q（quiet）：安静模式，仅输出错误信息；
-a（archive）：归档模式，等价于-rlptgoD（递归 + 保留权限等），适合备份（最常用选项之一）；
- -r：递归同步子目录；
- -l：保留符号链接；
- -p：保留文件权限；
- -t：保留修改时间；
- -g：保留组权限；
- -o：保留所有者权限；
- -D：保留设备文件和特殊文件；
-h（human-readable）：以人类可读格式显示大小（如 1K、2M）。

4.2 增量与删除选项

-u（update）：仅同步源文件比目标文件新的内容（避免覆盖目标端更新的文件）；
-delete：删除目标端存在但源端不存在的文件（保持两端完全一致，谨慎使用）；
-b（backup）：对目标端被覆盖的文件创建备份（默认备份文件加~后缀）；
--backup-dir=DIR：指定备份文件存放目录（替代默认的~后缀）。

4.3 压缩与传输选项

-z（compress）：传输时压缩文件（适合网络同步，节省带宽）；
--progress：显示传输进度（百分比 + 速度）；
-P：等价于--partial --progress，保留中断的部分文件，下次继续传输（断点续传核心选项）；
- --partial：不删除传输中断的临时文件。

4.4 排除与包含选项

--exclude=PATTERN：排除符合模式的文件 / 目录（如--exclude=*.log排除所有日志文件）；
--include=PATTERN：包含符合模式的文件 / 目录（与 exclude 配合使用，优先级更高）；
--exclude-from=FILE：从文件中读取排除规则（适合大量排除项）。

4.5 远程同步选项

-e "ssh -p 端口号"：指定 SSH 端口（默认 22，如-e "ssh -p 2222"）；
--rsync-path=PATH：指定远程端 rsync 命令路径（默认无需指定，特殊环境下使用）。

4.6 示例：常用组合命令

本地备份（保留权限 + 详细进度）：
rsync -avhP /home/user /backup/user_backup
远程同步（压缩 + 断点续传 + 删除差异文件）：
rsync -avzhP --delete /data user@192.168.1.100:/remote/data
排除特定文件同步：
rsync -avh --exclude=*.tmp --exclude=cache/ /src /dest

五、rsync 核心算法：为什么能 “精准找差异”？

5.1 增量传输算法（Delta Transfer Algorithm）
rsync 的核心竞争力在于其 1996 年提出的增量传输算法，解决了 “如何高效对比两端文件差异” 的问题。传统算法需将源文件和目标文件完整对比，而 rsync 通过 “分块校验 + 滚动哈希” 实现了 “仅传输差异”，步骤如下：

（1）源端分块与校验
源文件被分割为固定大小的块（如 4KB），最后一块可能更小。对每个块计算弱校验和（Adler-32）和强校验和（MD5），生成 “校验和列表”。

（2）目标端滑动窗口对比
目标端将本地文件（或空文件）作为 “滑动窗口”，对每个可能的块计算弱校验和，与源端的校验和列表对比：

若弱校验和不匹配，直接标记为差异块；
若弱校验和匹配，再对比强校验和，确认是否真的相同（避免弱校验和碰撞）。

（3）生成 “差异数据”
目标端将差异块的位置信息反馈给源端，源端仅传输这些块的内容，目标端拼接后生成完整文件。

优势：无需传输完整文件，仅交换校验和（体积远小于文件本身），尤其适合大文件和网络同步。

5.2 块大小的动态调整
rsync 会根据文件大小动态调整块大小（默认 128KB~4MB），小文件用小 block（如 1KB），大文件用大 block（如 4MB），平衡对比效率和传输精度。

5.3 与其他同步算法的对比

传统复制（cp/scp）：无差异检测，全量传输，效率低；
二进制 diff（如 diff 命令）：仅支持文本文件，且需两端有完整文件才能生成差异，不适合远程同步；
rsync 算法：支持所有文件类型，仅需源端分块校验 + 目标端对比，网络传输量极小，是跨设备同步的最优解之一。

六、rsync 高级应用：从基础同步到企业级方案

6.1 定时自动同步（配合 crontab）
通过 Linux 定时任务（crontab）实现 rsync 自动运行，适合定期备份场景。

示例：每天凌晨 3 点同步本地/data到远程服务器，并记录日志

创建脚本/usr/local/bin/rsync_backup.sh：

bash

#!/bin/bash
LOG_FILE="/var/log/rsync_backup.log"
echo "===== $(date) 开始同步 =====" >> $LOG_FILE
rsync -avzhP --delete /data user@192.168.1.100:/remote/data >> $LOG_FILE 2>&1
echo "===== $(date) 同步结束 =====" >> $LOG_FILE

赋予执行权限：chmod +x /usr/local/bin/rsync_backup.sh
添加 crontab 任务：crontab -e，加入：
0 3 * * * /usr/local/bin/rsync_backup.sh
（含义：每天 3 点 0 分执行脚本）

6.2 多服务器同步（分发文件）
通过 rsync 批量同步文件到多台服务器，结合脚本实现自动化：

示例：同步/etc/hosts到 10 台服务器

bash

#!/bin/bash
SERVERS=("192.168.1.101" "192.168.1.102" ... "192.168.1.110")  # 服务器列表
for server in "${SERVERS[@]}"; do
  echo "同步到 $server ..."
  rsync -avz /etc/hosts root@$server:/etc/hosts
done

6.3 加密同步（SSH 密钥认证）
远程同步时，每次输入密码繁琐且不安全，可通过 SSH 密钥免密登录解决：

（1）本地生成密钥对：
ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa（-N "" 表示无密码）
（2）将公钥发送到远程服务器：
ssh-copy-id -i ~/.ssh/id_rsa.pub user@192.168.1.100
（3）之后 rsync 远程同步无需输入密码：
rsync -av /data user@192.168.1.100:/remote/data

6.4 大文件断点续传实战
传输几十 GB 的大文件（如虚拟机镜像）时，网络中断是常事，-P选项是关键：

rsync -avzhP /iso/CentOS.iso user@192.168.1.100:/iso/

若传输中断，再次执行相同命令，rsync 会检测到已传输的部分，从断点继续。

6.5 同步时保留硬链接（适合备份数据库）
数据库备份常使用硬链接（如 MySQL 的 xtrabackup），-H选项可保留硬链接：

rsync -avH /backup/mysql user@192.168.1.100:/backup/
（-H：保留硬链接，避免硬链接被转为普通文件）

6.6 限制传输速度（避免占用带宽）
通过--bwlimit=RATE限制传输速度（单位 KB/s），适合生产环境避免影响业务：

rsync -avz --bwlimit=1024 /data user@192.168.1.100:/data（限制为 1MB/s）

七、rsync 与其他工具的对比：选择适合你的方案

7.1 rsync vs scp（SSH 复制）

相同点：均支持远程传输，依赖 SSH 加密；
差异点：
- scp：无增量传输，每次全量复制，适合小文件或首次传输；
- rsync：支持增量传输 + 断点续传，适合大文件、重复同步、备份场景。
结论：小文件用 scp 更简单，大文件 / 多次同步用 rsync 更高效。

7.2 rsync vs sftp（SSH 文件传输协议）

sftp：交互式文件传输（类似 FTP），支持文件浏览、单个传输，无批量同步能力；
rsync：非交互式，支持批量目录同步 + 增量传输，适合自动化场景。
结论：手动传少量文件用 sftp，批量同步用 rsync。

7.3 rsync vs unison（双向同步工具）

rsync：默认单向同步（源→目标），需额外配置实现双向（复杂）；
unison：原生支持双向同步（自动合并两端修改），适合个人设备间同步（如电脑与手机）。
结论：单向备份用 rsync，双向互相同步用 unison。

7.4 rsync vs 分布式同步工具（如 lsyncd、inotify+rsync）

传统 rsync：需手动触发或定时执行，无法实时同步；
lsyncd：基于 inotify（文件变化监控）+rsync，实现文件变化后自动同步（实时性）。
结论：非实时需求用 rsync，实时同步用 lsyncd（底层依赖 rsync）。

7.5 rsync vs 云同步工具（如 NextCloud、Syncthing）

云同步工具：图形化界面，支持跨平台（含移动端），依赖中心服务器；
rsync：命令行工具，无图形界面，适合服务器端自动化，不依赖中心节点。
结论：个人用户用云同步工具，服务器 / 批量场景用 rsync。

八、rsync 常见问题与解决方案

8.1 错误：“rsync: failed to connect to x.x.x.x: Connection refused”

原因：远程端未启动 rsync 服务（rsync 协议模式）或 SSH 服务（SSH 模式）；
解决：
- 检查远程 SSH 状态：ssh user@x.x.x.x能否登录；
- 若用 rsync 协议，检查rsyncd服务是否启动：systemctl status rsyncd。

8.2 错误：“rsync: delete is not supported for daemon”

原因：远程 rsync 服务配置了read only = yes，不允许删除操作；
解决：修改/etc/rsyncd.conf中对应模块的read only = no，重启服务。

8.3 同步后文件权限不一致

原因：目标端用户权限不足，或 rsync 未加-a选项；
解决：
- 用-a选项保留权限（rsync -av ...）；
- 确保目标端用户有写入权限（如用 root 用户同步）。

8.4 传输速度慢（排除网络问题）

可能原因：
- 未启用压缩（大文本文件）：加-z选项；
- 目标端磁盘 IO 慢：检查目标端存储性能；
- 块大小不合理：通过--block-size手动调整（如--block-size=8192即 8KB 块）。

8.5 误删文件后如何恢复？

若启用了-b（备份）或--backup-dir，从备份目录恢复；
若未备份，需依赖文件系统快照（如 LVM 快照）或第三方恢复工具（如 extundelete），因此建议同步时加-b选项。

8.6 大目录同步耗时过长（首次同步）

原因：首次同步需全量传输 + 校验和计算；
优化：
- 首次用 scp 传输（全量但无校验开销），后续用 rsync 增量同步；
- 拆分大目录为多个小目录，并行同步（通过脚本实现）。

九、rsync 扩展：从命令行到生态工具

9.1 lsyncd：实时文件同步（rsync+inotify）
lsyncd 通过监控文件变化（inotify），自动触发 rsync 同步，适合需要实时性的场景（如网站文件更新后立即同步到服务器）。

安装：sudo apt install lsyncd（Debian/Ubuntu）

配置文件示例（/etc/lsyncd.conf）：

lua

settings {
  logfile = "/var/log/lsyncd.log",
  statusFile = "/var/log/lsyncd.status",
  inotifyMode = "CloseWrite",  # 文件关闭且写入后触发
  maxProcesses = 8  # 最大并行进程数
}
# 同步本地/var/www到远程服务器
sync {
  default.rsync,
  source = "/var/www",
  target = "user@192.168.1.100:/var/www",
  rsync = {
    archive = true,
    compress = true,
    rsh = "/usr/bin/ssh -p 22"
  }
}