23、网络文件操作实用指南

nice1

于 2025-12-10 15:27:41 发布

阅读量1

点赞数

CC 4.0 BY-SA版权

分类专栏：掌握Linux命令的艺术文章标签： SFTP SCP rsync

本文链接：https://blog.youkuaiyun.com/nice1/article/details/155840836

掌握Linux命令的艺术专栏收录该内容

25 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

网络文件操作实用指南

在网络环境中进行文件操作时，安全性和效率是至关重要的考虑因素。本文将详细介绍几种常用的网络文件操作工具和方法，包括 SFTP、SCP、rsync 和 wget，帮助你更安全、高效地进行文件传输和备份。

SSH 密钥交换的安全性

在网络连接中，有人认为如果某人登录到 pound 机器，就可以无密码连接到 eliot 机器，这似乎存在安全风险。但实际上，这只是意味着你需要在 pound 上做好安全防护。如果 pound 被攻破，无论攻击者是否意识到能访问 eliot ，你都会面临巨大问题。而且在互联网上，密码泄露的风险也很高，一旦攻击者获取你的密码，就能造成严重破坏。

从安全角度看，通过 SSH 交换密钥至少和使用密码一样安全，甚至在很多方面更安全。当然，如果你更喜欢使用密码，这也是你的选择，开源和 Linux 系统本身就提供了这种灵活性。

使用 SFTP 安全传输文件

在网络文件传输中，SFTP 是比 FTP 更好的选择。FTP 会以明文形式传输用户名、密码和所有数据，这意味着任何能够嗅探数据包的人都可以获取这些信息。而 SFTP 利用 SSH 对用户名、密码和传输流量进行加密，安全性大大提高。同时，SFTP 的命令与 FTP 非常相似，易于学习和使用。

如果你可以通过 SSH 访问一台机器，那么也可以使用 SFTP 进行文件传输。以下是一个从 pound （IP：192.168.0.15，用户名：ezra）到 eliot （IP：192.168.0.25，用户名：tom）的 SFTP 连接示例：

$ sftp tom@192.168.0.25
Connecting to 192.168.0.25...
tom@192.168.0.25’s password:
sftp>

如果你之前设置了无密码连接，登录时将不会提示输入密码：

$ sftp tom@192.168.0.25
Connecting to 192.168.0.25...
sftp>

登录后，你可以使用一些常见的 SFTP 命令，如下表所示：
| Command | Meaning |
| ---- | ---- |
| cd | 更改目录 |
| exit | 关闭与远程 SSH 服务器的连接 |
| get | 将指定文件复制到本地机器 |
| help | 获取命令帮助 |
| lcd | 更改本地机器的目录 |
| lls | 列出本地机器的文件 |
| ls | 列出远程 SSH 服务器工作目录中的文件 |
| put | 将指定文件复制到远程 SSH 服务器 |
| rm | 从远程 SSH 服务器中删除指定文件 |

使用 SCP 安全复制文件

如果你需要快速安全地将文件从一台机器复制到另一台机器，SCP（Secure Copy）是一个不错的选择。SCP 的基本使用模式如下：

scp user@host1:file1 user@host2:file2

这与传统的 cp 命令语法相似，但扩展到了网络环境。以下是一个具体示例，将 pound 机器上的 backup.sh 文件复制到 eliot 机器的 /home/tom/bin 目录：

$ pwd
/home/ezra
$ ls ~/bin
backup.sh
$ scp ~/bin/backup.sh tom@192.168.0.25/home/tom/bin
backup.sh              100% 8806     8.6KB/s   00:00
$

如果你之前设置了无密码 SSH 连接，使用 SCP 时也无需输入密码。如果需要复制多个文件，可以使用通配符。例如，将 pound 机器上的多个 JPEG 文件复制到 eliot 机器的 /home/tom/album_covers 目录：

$ ls -1 ~/covers
earth_wind_&_fire.jpg
handel_-_chamber_music.jpg
smiths_best_1.jpg
strokes_-_is_this_it.jpg
u2_pop.jpg
$ scp *.jpg tom@192.168.0.25:/home/tom/album_covers
earth_wind_&_fire.jpg          100%   44KB  43.8KB/s
handel_-_chamber_music.jpg     100%   12KB  12.3KB/s
smiths_best_1.jpg              100%   47KB  47.5KB/s
strokes_-_is_this_it.jpg       100%   38KB  38.3KB/s
u2_pop.jpg                     100%   9222
9.0KB/sQ

同样，也可以从 eliot 机器复制文件到 pound 机器：

$ scp tom@192.168.0.25:/home/tom/pictures/dog/libby* ~/pix/libby
libby_in_window_1.20020611.jpg 100%  172KB 172.4KB/s
libby_in_window_2.20020611.jpg 100%  181KB 180.8KB/s
libby_in_window_3.20020611.jpg 100%  197KB 196.7KB/s
libby_in_window_4.20020611.jpg 100%  188KB 187.9KB/s

不过，当需要复制大量文件时，SCP 可能会变得繁琐，此时可以考虑使用 SFTP 或挂载 Samba 共享。

使用 rsync 安全传输和备份文件

rsync 是一个非常强大且实用的工具，它能够高效、安全地备份文件，同时减少网络流量。假设你每天需要从 coleridge 机器（用户名：sam）备份 2GB 的文件到 wordsworth 机器（用户名：will），如果不使用 rsync，每天都需要传输 2GB 的数据，这会产生大量的网络流量。而使用 rsync，它只会传输文件的差异部分。如果在过去 24 小时内只有几百 KB 的文件发生了变化，rsync 就只传输这些变化的部分；如果变化了 100MB，它也只会复制这 100MB 的数据，大大节省了网络带宽和时间。

以下是一个从 coleridge 机器将 documents 目录的内容备份到 wordsworth 机器备份驱动器的 rsync 命令示例：

$ rsync --verbose --progress --stats --recursive --times --perms --links --compress --rsh=ssh --delete /home/sam/documents/ will@wordsworth:/media/backup/documents
$ rsync -v --progress --stats -r -t -p -l -z -e ssh --delete /home/sam/documents/ will@wordsworth:/media/backup/documents
$ rsync -vrtplze ssh --progress --stats --delete /home/sam/documents/ will@wordsworth:/media/backup/documents

运行上述命令后，rsync 会先构建一个需要处理的文件列表，然后删除目标机器上源机器中已不存在的文件，接着复制有变化的文件或文件的变化部分。最后，它会提供一些传输的统计信息，例如传输的文件数量、文件大小等。

在使用 rsync 时，需要注意源目录和目标目录的指定方式。如果要复制 coleridge 机器上 documents 目录的内容而不是目录本身，源目录应使用 documents/ ，而不是 documents 。例如：

$ rsync -vrtplze ssh --progress --stats --delete /home/sam/documents/ will@wordsworth:/media/backup/documents

这里的 /home/sam/documents/ 后面的斜杠表示只复制目录内容。如果不使用斜杠，会将整个 documents 目录复制到目标机器，导致目录结构变为 /media/backup/documents/documents 。需要注意的是，这个斜杠只对源目录有影响，目标目录使用斜杠与否无关紧要。

此外，rsync 还有一些其他有用的选项：
- -n （或 --dry-run ）：执行模拟运行，不会实际删除或复制文件，可用于在执行重要操作前进行测试，避免误删重要文件。
- -v （或 --verbose ）：详细输出 rsync 的操作信息，结合 --progress 可以实时看到文件的删除和复制情况，在交互式操作时非常有用。
- --stats ：显示传输的统计信息，如传输的文件数量、大小等，手动运行 rsync 时查看这些信息很有帮助，但在脚本中使用时可能不需要。
- -r （或 --recursive ）：递归处理子目录，确保复制整个目录及其所有内容。
- -t （或 --times ）：传输文件时保留文件的修改时间，这样下次运行 rsync 时可以根据时间判断哪些文件有变化，避免重复复制所有文件。
- -p （或 --perms ）：更新目标机器上文件的权限，使其与源机器上的文件权限一致，保证备份的准确性。
- -l （或 --links ）：当源机器上有软链接时，在目标机器上重新创建软链接，而不是复制实际文件，保留源机器的原始状态。
- -z （或 --compress ）：在传输文件时使用 gzip 压缩，即使在快速网络连接下也能节省时间，在慢速连接下则是必需的。
- -e （或 --rsh=ssh ）：使用 SSH 隧道传输数据，确保传输的安全性。由于之前设置了无密码 SSH 连接，使用此选项时无需输入密码。
- --delete ：删除目标机器上源机器中已不存在的文件，确保目标机器是源机器的精确镜像，但使用此选项时要谨慎，建议先使用 -n 选项进行模拟运行。

如果你想更安全地管理数据，可以设置 rsync 定期运行。例如，创建一个名为 backup.sh 的脚本文件，将 rsync 命令写入其中：

$ rsync --verbose --progress --stats --recursive --times --perms --links --compress --rsh=ssh --delete /home/sam/documents/ will@wordsworth:/media/backup/documents

然后使用 chmod 命令将脚本文件设置为可执行：

$ chmod 744 /home/scott/bin/backup.sh

接着创建一个名为 cronfile 的文件，添加以下内容：

# backup documents every morning at 3:05 am
05 03 * * * /home/scott/bin/backup.sh

最后将这个任务添加到 cron 中：

$ crontab /home/scott/bin/cronfile

这样，每天凌晨 3:05 就会自动执行备份任务，你无需再手动操作。但要确保两台计算机在夜间保持开机状态。

使用 wget 非交互式下载文件

在互联网上，有大量的图片、电影和音乐等资源可供下载，但手动下载大量文件（如 200 个 MP3 文件）会非常繁琐。wget 命令可以帮助你非交互式地下载文件和网站，你只需设置好命令，它就会自动下载你指定的内容。

以下是一个使用 wget 下载 “The Old Time Radio Archives” 网站上所有 MP3 文件的示例。该网站上有 365 个 MP3 格式的复古电台节目，分布在不同的目录中。首先，创建一个用于存放下载文件的目录：

$ mkdir radio_mp3s
$ cd radio_mp3s

然后使用以下 wget 命令进行下载：

$ wget -r -l2 -np -w 5 -A.mp3 -R.html,.gif http://www.oldtimeradioarchives.com/mp3/

下面详细解释这个命令的各个选项：
- -r （或 --recursive ）：递归下载，让 wget 跟随链接并深入目录查找文件，确保能下载到每个季节目录中的 MP3 文件。
- -l2 （或 --level=[#] ）：指定递归下载的深度。这里设置为 2，表示 wget 先进入 /mp3 目录（一级），然后再进入每个 season_# 目录（二级）下载文件。如果设置为 1，wget 只会查看 /mp3 目录，而该目录下只有子目录，不会下载到任何 MP3 文件。需要注意的是，要谨慎设置这个深度，否则可能会导致硬盘被大量文件填满。
- -np （或 --no-parent ）：阻止 wget 递归进入父目录。例如，在 /season_10 目录中，其父目录是 /mp3 ，使用此选项可以避免 wget 每次都返回 /mp3 目录，节省时间和资源。
- -w （或 --wait=[#] ）：在每个文件下载之间添加一个短暂的等待时间，避免对服务器造成过大压力。默认情况下，时间单位是秒，你也可以通过在数字后面添加 m （分钟）、 h （小时）或 d （天）来指定其他时间单位。
- -A （或 --accept ）：指定只下载特定类型的文件，这里只下载 .mp3 文件。
- -R （或 --reject ）：指定不下载的文件类型，这里拒绝下载 .html 和 .gif 文件，避免下载不必要的文件，如文件列表前的音乐图标。

如果下载过程中出现中断（如路由器故障、网线被拔出等），只需重复运行命令并添加 -c （或 --continue ）选项，wget 会从上次中断的位置继续下载，避免重新下载所有文件。

另一个使用 wget 下载文件的示例是下载伦敦 DJ 发布的 The Beastles 的 MP3 文件。这些文件列在 www.djbc.net/beastles 网页上，可以使用以下命令下载：

$ dog --links http://www.djbc.net/beastles/ | grep mp3 > beastles ; wget -i beastles

这个命令的工作原理是：首先使用 dog --links 从网页中提取所有链接，然后通过 grep 过滤出包含 mp3 的链接，并将这些链接重定向到一个名为 beastles 的文件中。最后，使用 wget -i 选项从该文件中读取链接并进行下载。

综上所述，SFTP、SCP、rsync 和 wget 是网络文件操作中非常实用的工具，它们各自具有不同的特点和适用场景。通过合理使用这些工具，你可以更安全、高效地进行文件传输、备份和下载。希望本文介绍的内容能帮助你更好地管理网络文件。

网络文件操作实用指南

工具对比与选择建议

为了更清晰地了解 SFTP、SCP、rsync 和 wget 这几个工具的特点和适用场景，我们可以通过以下表格进行对比：
| 工具 | 特点 | 适用场景 |
| ---- | ---- | ---- |
| SFTP | 基于 SSH 加密，命令与 FTP 相似，安全性高 | 交互式文件传输，需要在远程和本地机器之间灵活操作目录和文件 |
| SCP | 快速安全复制文件，语法类似 cp 命令 | 快速复制少量文件，对操作便捷性要求较高 |
| rsync | 高效备份文件，只传输文件差异部分，节省网络流量 | 定期备份大量文件，需要保持源和目标文件一致性 |
| wget | 非交互式下载文件和网站，可递归下载 | 批量下载特定类型文件，从网页提取链接下载 |

根据不同的需求，我们可以按照以下 mermaid 流程图来选择合适的工具：

graph TD;
    A[需要进行文件操作] --> B{操作类型};
    B -->|交互式传输| C{是否需要灵活操作目录};
    C -->|是| D[选择 SFTP];
    C -->|否| E{文件数量};
    E -->|少量| F[选择 SCP];
    E -->|大量| G[选择 SFTP 或挂载 Samba 共享];
    B -->|备份文件| H{文件变化情况};
    H -->|变化频繁| I[选择 rsync];
    H -->|变化少| J{对时间要求};
    J -->|不高| K[选择 SCP];
    J -->|高| I;
    B -->|非交互式下载| L{是否从网页下载};
    L -->|是| M[选择 wget];
    L -->|否| N{是否需要递归下载};
    N -->|是| M;
    N -->|否| F;

常见问题及解决方法

在使用这些工具时，可能会遇到一些常见问题，以下是一些解决方法：
1. 密码问题
- 问题描述 ：使用 SSH 相关工具（如 SFTP、SCP、rsync）时需要频繁输入密码，操作繁琐。
- 解决方法 ：设置无密码 SSH 连接。可以通过生成 SSH 密钥对，并将公钥添加到目标机器的 ~/.ssh/authorized_keys 文件中。具体步骤如下：
- 在本地机器上生成 SSH 密钥对：

$ ssh-keygen -t rsa

    - 将公钥复制到目标机器：

$ ssh-copy-id user@host

    - 之后再使用相关工具时，就无需输入密码。

网络中断问题
- 问题描述 ：在使用 wget 或 rsync 进行文件下载或备份时，网络中断导致传输中断。
- 解决方法 ：
  - wget ：使用 -c （或 --continue ）选项，让 wget 从上次中断的位置继续下载。例如：

$ wget -c http://example.com/file.zip

    - **rsync**：由于 rsync 本身会记录文件的差异，网络中断后再次运行相同的 rsync 命令，它会自动继续传输未完成的部分。

文件权限问题
- 问题描述 ：使用 rsync 备份文件后，目标机器上的文件权限与源机器不一致。
- 解决方法 ：在 rsync 命令中使用 -p （或 --perms ）选项，确保目标机器上的文件权限与源机器一致。例如：

$ rsync -vrtplze ssh --progress --stats --delete --perms /home/sam/documents/ will@wordsworth:/media/backup/documents

总结与展望

通过本文的介绍，我们了解了 SFTP、SCP、rsync 和 wget 这几个网络文件操作工具的使用方法、特点和适用场景。在实际应用中，我们可以根据具体需求选择合适的工具，以提高文件传输、备份和下载的效率和安全性。

随着网络技术的不断发展，未来可能会出现更多功能强大、操作便捷的文件操作工具。同时，数据安全和隐私保护也将成为更加重要的关注点。我们需要不断学习和掌握新的技术和工具，以适应不断变化的网络环境。

希望大家在实际使用中能够灵活运用这些工具，更好地管理网络文件。如果在使用过程中遇到任何问题，欢迎随时交流和探讨。