37、脚本与文件网络传输实用指南

脚本与文件网络传输实用指南

1. 脚本基础操作

在脚本操作中，子 shell 有着重要的应用。例如，可以在子 shell 中执行命令，像 $ (cd brzydkikatalog; brzydkiprogram) ，这能在特定目录下运行程序。还能在子 shell 中修改环境变量路径，如 $ (PATH=/usr/klopotliwy:$PATH; brzydkiprogram) ，不过这种一次性修改环境变量的操作很常见，因此也有内置的语法可以省略子 shell，即 $ PATH=/usr/klopotliwy:$PATH brzydkiprogram 。

子 shell 还能使用管道和后台进程。例如使用 tar 命令创建和解压目录树来复制目录， $ tar cf - zrodlo | (cd cel; tar xvf -) ，它能创建 zrodlo 目录的精确副本到 cel 目录，且能保留所有者和权限信息，通常比 cp -r 更快。但在运行这类命令前，要确保 cel 目录存在且不是 zrodlo 的子目录。

在脚本中引入其他文件，可以使用 . 操作符。比如执行 config.sh 文件中的命令，使用 . config.sh ，这种方式不会启动子 shell，适合多个脚本共享一个配置脚本的情况。

read 命令可以从标准输入读取一行文本并存储到指定变量，如 $ read zmienna ，它是 shell 内置命令，能与其他 shell 功能配合使用。

不过，在编写脚本时要考虑是否选择了合适的工具。shell 适合处理命令和文件，但如果脚本变得非常复杂，出现算术运算或字符串处理，可能选择 Perl、Python 或 awk 等脚本语言更合适。

2. 网络文件快速复制

当需要在网络中的两台计算机间快速复制文件时，Python 提供了便捷方法。只需切换到包含文件的目录，运行 $ python -m SimpleHTTPServer ，这会启动一个简单的 Web 服务器，默认使用 8000 端口。若服务器所在计算机地址为 10.1.2.4，在目标计算机使用 http://10.1.2.4:8000 就能下载所需文件。

3. rsync 工具基础

rsync 是 Linux 系统中用于文件同步的实用工具，相比 scp -r 和 tar 管道命令，它有更好的性能和更多功能。使用 rsync 需要在源和目标主机都安装该工具，且要能通过 SSH 等方式从一台计算机访问另一台。

基本使用时，复制文件到远程计算机的家目录，可使用 $ rsync plik1 plik1 ... komputer: 。若遇到 rsync not found 等错误，可能是远程系统中 rsync 不在搜索路径中，可通过 --rsync-path=ścieżka 指定其位置。若远程计算机使用不同用户名，要在计算机名前加上 用户@ ，如 $ rsync plik1 plik1 ... użytkownik@komputer: 。

默认情况下， rsync 只复制文件，若要复制整个目录层次结构，包括符号链接、权限等，需添加 -a 选项，如 $ rsync -a katalog komputer:katalog_docelowy 。若不确定复制操作的结果，可使用 -nv 选项， -n 让 rsync 只模拟操作不实际复制， -v 显示操作细节，如 $ rsync -na katalog komputer:katalog_docelowy 。

4. rsync 高级功能

• 创建精确目录副本 ：默认 rsync 复制时不检查目标目录的原有内容。若要创建源目录的精确副本，需使用 --delete 选项删除目标目录中源目录没有的文件，如 $ rsync -a --delete katalog komputer:katalog_docelowy 。但使用此选项时要谨慎，可先用 -n 选项模拟操作。
• 使用结尾斜杠 ：运行 rsync 时，目录名后是否加斜杠会影响复制行为。如 $ rsync -a katalog komputer:katalog_docelowy 会将 katalog 目录复制到目标目录；而 $ rsync -a katalog/ komputer:katalog_docelowy 只复制 katalog 目录内的内容，不复制目录本身。不小心添加斜杠一般问题不大，但与 --delete 选项结合可能导致意外删除文件，使用 shell 的自动补全功能时要注意。
• 忽略文件和目录 ： rsync 可以在复制时忽略某些文件和目录。例如，要忽略所有名为 .git 的文件和目录，使用 $ rsync -a --exclude=.git src komputer: ；若只忽略特定路径的文件或目录，需使用绝对路径，如 $ rsync -a --exclude=/src/.git src komputer: 。还可以使用多个 --exclude 参数，或者将忽略规则写在文件中，通过 --exclude-from=plik 指定。若要只忽略目录，在目录名后加斜杠，如 --exclude=element/ 。若忽略规则包含太多文件，可使用 --include 选项添加需要包含的文件或目录。
• 传输完整性、校验和与信息模式 ：为提高传输效率， rsync 通过文件大小和最后修改时间的组合生成校验和来判断文件是否已存在于目标计算机。若需要更严格的检查，可使用 --checksum （或 -c ）选项计算文件的校验和，但会增加处理器和 I/O 设备的资源消耗。还有一些其他选项可用于保护文件，如 --ignore-existing 禁止覆盖目标目录中已存在的文件； --backup （或 -b ）不覆盖已存在文件，而是重命名并添加波浪号 ~ ； --suffix=z 可自定义备份文件的后缀； --update （或 -u ）禁止覆盖目标目录中修改时间比源文件新的文件。

rsync 默认只在出现问题时生成消息，使用 -v 选项可开启信息模式， -vv 会显示更详细信息，还可使用 --stats 获取传输的简要总结。

5. rsync 其他特性

• 压缩 ：很多用户在使用 -a 选项的同时会使用 -z 选项对数据进行压缩后再传输，如 $ rsync -az katalog komputer:katalog_docelowy 。在通过低速网络传输大量数据或传输延迟较大时，压缩可提高性能；但在高速局域网中，压缩和解压缩可能会成为瓶颈，不使用压缩可能更快。
• 限制带宽 ：通过互联网向远程计算机传输大量数据时， rsync 可能会占用全部可用带宽。使用 --bwlimit 选项可以为其他程序保留部分带宽，例如 $ rsync --bwlimit=10000 -a katalog komputer:katalog_docelowy 可将传输速度限制为 10000 千字节每秒。
• 从远程计算机传输文件 ： rsync 不仅可将文件从本地计算机传输到远程计算机，也可将文件从远程计算机传输到本地计算机。

以下是一个简单的 mermaid 流程图，展示使用 rsync 复制文件的基本流程：

graph LR
    A[开始] --> B[检查 rsync 是否安装]
    B --> C{是否有错误信息}
    C -- 是 --> D[指定 rsync 路径]
    C -- 否 --> E[选择复制选项]
    D --> E
    E --> F[执行 rsync 命令]
    F --> G[结束]

下面是一个关于 rsync 常用选项的表格：
| 选项 | 作用 |
| ---- | ---- |
| -a | 归档模式，复制目录层次结构、符号链接、权限等 |
| -n | 模拟操作，不实际复制文件 |
| -v | 开启信息模式，显示操作细节 |
| –delete | 删除目标目录中源目录没有的文件 |
| –exclude | 忽略指定的文件或目录 |
| –checksum | 计算文件校验和 |
| –ignore-existing | 禁止覆盖目标目录中已存在的文件 |
| –backup | 不覆盖已存在文件，重命名并添加波浪号 |
| –suffix | 自定义备份文件的后缀 |
| –update | 禁止覆盖目标目录中修改时间比源文件新的文件 |
| -z | 压缩数据后传输 |
| –bwlimit | 限制传输带宽 |

脚本与文件网络传输实用指南

6. 网络文件传输场景分析

在实际的网络文件传输中，不同的场景需要选择不同的传输方法。以下是几种常见场景及适用的方法：
| 场景 | 需求特点 | 适用方法 |
| ---- | ---- | ---- |
| 快速临时访问 | 需要快速获取文件，对文件完整性和长期保存要求不高 | Python 的 SimpleHTTPServer |
| 完整目录结构同步 | 要保持源目录和目标目录的一致性，包括文件和目录的所有属性 | rsync -a –delete |
| 大量数据传输 | 数据量大，网络带宽有限 | rsync -az –bwlimit |
| 定期自动化同步 | 需要定期进行文件同步操作 | 结合 cron 任务使用 rsync |

7. 结合 cron 任务实现自动化

为了实现定期的文件同步，可以结合 Linux 的 cron 任务来调度 rsync 命令。以下是具体的操作步骤：
1. 打开 cron 表：使用命令 crontab -e 打开当前用户的 cron 表。
2. 添加任务：在打开的文件中添加 rsync 命令，例如每天凌晨 2 点同步 /home/user/source 目录到远程服务器的 /home/user/destination 目录，可以添加以下内容：

0 2 * * * rsync -az --delete /home/user/source user@remote:/home/user/destination

这里的时间格式是 分 时 日 月 周 命令 ，具体含义如下：
| 字段 | 允许值 | 允许的特殊字符 |
| ---- | ---- | ---- |
| 分 | 0 - 59 | , - * / |
| 时 | 0 - 23 | , - * / |
| 日 | 1 - 31 | , - * ? / L W C |
| 月 | 1 - 12 或 JAN - DEC | , - * / |
| 周 | 0 - 7 或 SUN - SAT （0 和 7 都代表周日） | , - * ? / L C # |
3. 保存退出：添加完任务后，保存并退出文件。cron 会自动按照设定的时间执行 rsync 命令。

8. 错误处理与调试

在使用 rsync 进行文件传输时，可能会遇到各种错误。以下是一些常见错误及解决方法：
| 错误信息 | 可能原因 | 解决方法 |
| ---- | ---- | ---- |
| rsync not found | 远程系统中 rsync 不在搜索路径中 | 使用 --rsync-path=ścieżka 指定 rsync 的位置 |
| connection unexpectedly closed | 网络连接问题或远程服务异常 | 检查网络连接，确保远程服务器正常运行 |
| error in rsync protocol data stream | 数据传输过程中出现错误 | 检查文件权限和完整性，尝试重新传输 |

在调试 rsync 命令时，可以使用 -vv 选项开启详细信息模式，查看更多的操作细节。还可以使用 -n 选项模拟操作，避免实际修改文件。

9. 安全注意事项

在进行网络文件传输时，安全是非常重要的。以下是一些安全注意事项：
- 使用 SSH 连接 ：rsync 默认使用 SSH 协议进行连接，确保数据在传输过程中的加密和安全。
- 限制访问权限 ：确保只有授权的用户可以访问源目录和目标目录，避免数据泄露。
- 定期备份 ：即使使用了 rsync 进行同步，也建议定期对重要数据进行备份，以防意外情况。
- 检查文件来源 ：在接收文件时，要确保文件来源可靠，避免下载和使用恶意文件。

10. 总结与最佳实践

通过本文的介绍，我们了解了脚本操作中的子 shell、文件引入和用户数据读取等基础操作，以及网络文件传输中 Python 的简单服务器和 rsync 工具的使用方法。以下是一些最佳实践总结：
- 在编写脚本时，根据任务的复杂度选择合适的脚本语言，避免在 shell 脚本中处理过于复杂的算术和字符串操作。
- 使用 rsync 进行文件同步时，根据不同的场景选择合适的选项，如 -a 、 --delete 、 -z 等。
- 在使用结尾斜杠时要格外小心，特别是与 --delete 选项结合使用时。
- 定期检查 rsync 命令的执行情况，及时处理出现的错误。
- 结合 cron 任务实现文件同步的自动化，提高工作效率。

以下是一个 mermaid 流程图，展示网络文件传输的整体流程：

graph LR
    A[确定传输场景] --> B{快速临时访问?}
    B -- 是 --> C[使用 Python SimpleHTTPServer]
    B -- 否 --> D{完整目录结构同步?}
    D -- 是 --> E[使用 rsync -a --delete]
    D -- 否 --> F{大量数据传输?}
    F -- 是 --> G[使用 rsync -az --bwlimit]
    F -- 否 --> H{定期自动化同步?}
    H -- 是 --> I[结合 cron 任务使用 rsync]
    H -- 否 --> J[选择合适的 rsync 选项]
    C --> K[结束]
    E --> K
    G --> K
    I --> K
    J --> K

通过遵循这些最佳实践，可以更高效、安全地进行脚本操作和网络文件传输。希望本文对你有所帮助，让你在实际工作中能够更好地应对各种文件传输和脚本编写的需求。