15、搭建Beowulf集群与数据备份恢复指南

吃瓜不吐籽595

于 2025-12-05 11:49:16 发布

阅读量12

点赞数

CC 4.0 BY-SA版权

分类专栏： SuSE Linux实战指南文章标签： Beowulf集群 PVM XPVM

本文链接：https://blog.youkuaiyun.com/oauth7security/article/details/155726033

SuSE Linux实战指南专栏收录该内容

19 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

搭建Beowulf集群与数据备份恢复指南

1. Beowulf集群简介

长期以来，并行计算一直是商业供应商的领域。借助Linux系统，现在可以使用普通PC和现成组件，通过快速以太网卡联网或使用SCI、Myrinet等高速互连技术，创建强大的超级计算机。Beowulf集群能以常规并行计算机一小部分的成本提供高性能计算，其性价比通常比“常规”超级计算机高3到10倍。

Beowulf源自最古老的英国史诗之一中的角色“斯堪的纳维亚土地上希尔迪的儿子”。传说他击败了名为“格伦德尔”的怪物，相关历史背景可参考 http://legends.dm.net/beowulf/index.html 和 http://www.lnstar.com/literature/beowulf/beowulf.html 。

1994年，唐纳德·贝克尔（Donald Becker）和汤姆·斯特林（Tom Sterling）在NASA戈达德太空飞行中心搭建了第一个Beowulf集群。唐纳德·贝克尔还因在Linux内核网络驱动方面的工作而在Linux社区广为人知。

2. 并行计算软件要求

要利用集群的并行性，软件需要能够在集群节点之间进行分布式处理。一种方法是使用PVM（并行虚拟机）或LAM/MPI（局域网元计算机/消息传递接口）等库。普通程序不适合分布式计算。现在有一款名为MOSIX的负载共享软件，它允许在集群中进行透明的进程迁移，任何生成多个进程或线程的软件都可以使用它，但MOSIX需要特殊补丁的Linux内核，这里暂不介绍。

3. 光线追踪与POVray

本文重点介绍如何搭建PVM，以及如何使用著名光线追踪软件POVray的特殊版本PVMPOVray来展示并行计算能力。光线追踪是一种根据坐标、光源、纹理和表面属性（如反射率或不透明度）创建逼真场景图像的方法。光线追踪器会计算图像中所有光线的反射、阴影和折射，并生成相应的场景图像。更多关于POVray的信息可在其官网 http://www.povray.org 上找到。

4. 搭建简单Beowulf集群

要搭建一个简单的Beowulf集群，至少需要两台运行Linux的PC，并且它们之间要有有效的TCP/IP网络连接。对于初学者来说，普通以太网就可以，但它的性能不是最佳的，因为其延迟较高，在运行需要节点间大量通信的应用程序时，延迟问题会比较关键。为了实现节点间的通信，所有机器都需要安装PVM。如果节点数量不是太多（大约20 - 30个），XPVM是一个有用的工具，可用于监控虚拟机的通信和设置，它只需安装在主服务器上。

当使用SuSE Linux时，确保集群中所有机器都安装以下“beo”系列软件包：
- pvm
- povray
- pvmpov

其中一台机器作为主节点，将作业分配给“从”节点。它们应该共享一个公共工作目录（NFS），并且能够在不输入密码的情况下从每个节点远程登录到其他节点（可以编辑每台机器上的 /etc/hosts.equiv 文件，或者在想要在远程机器上启动作业的用户主目录中创建 ~/.rhosts 文件）。

以下是搭建基本Beowulf集群的步骤：
1. 在命令行输入 pvm 启动PVM控制台。
2. 在PVM命令提示符 pvm> 下，使用 add <Hostname> 命令将节点添加到虚拟机中。PVM会尝试使用 rsh 在远程机器上启动PVM守护进程。如果失败，可以查看远程机器上的日志文件。
3. 使用 conf 命令查看已成功添加到PVM的所有节点列表。
4. 使用 quit 命令返回shell。

另外，也可以创建一个包含所有要用于集群的主机名的文件（每行一个），然后运行 pvm <hostfile> ，这样会自动将这些主机添加到虚拟机中。

5. 运行XPVM

要运行XPVM，首先需要设置以下环境变量：

export XPVM_ROOT=/usr/X11R6/lib/xpvm/

然后在终端窗口中输入 xpvm 启动XPVM。通过点击 Hosts... -> Other Hosts... 添加其他节点，成功添加到虚拟机的每个主机都会显示一个图标。点击 Tasks... -> SPAWN 开始作业分配。为了演示，可以运行以下命令：

/usr/X11R6/bin/x-pvmpov +L/usr/lib/povray3/include +I/usr/lib/povray3/povscn/level2/skyvase.pov +O skyvase.tga +D +W640 +H400 +N

将 NTasks 设置为参与的主机数量。此时会弹出一个窗口，图像将逐块创建，完成后的图像将保存在主目录下，文件名为 skyvase.tga 。

6. 数据备份与恢复的重要性

快速备份和恢复数据的重要性不言而喻，但许多管理员总是将这项任务推迟到最后，直到为时已晚。现在有一些易于使用的商业软件包，如BRU（Enhanced Software Technologies）、BackupEDGE/RecoverEDGE（MicroLite）或Arkeia（Knox Software），无需再拖延备份工作。

7. BRU备份恢复工具

7.1 BRU简介

BRU是一款备份和恢复工具，与 tar 、 cpio 、 volcopy 和 dump 等常见工具相比，有显著的改进。它可以与大多数备份设备配合使用，包括盒式磁带、4mm DAT、8mm（Exabyte）和9轨磁带驱动器。BRU支持增量备份、全量备份、多卷存档、分发和更新、错误检测和恢复、随机访问、文件比较、文件覆盖保护，并且比以前的版本速度更快。

7.2 安装BRU

在安装BRU之前，需要了解以下信息：
1. 磁带驱动器的设备名称。在SuSE Linux下，通常 dev/st0 是可倒带的驱动器， /dev/nst0 是不可倒带的驱动器。
2. 备份介质的大小（以兆字节为单位）。

从软盘驱动器使用 tar 命令安装BRU的步骤如下：

cd /tmp
tar xvf /dev/fd0
./install

按照提示操作，输入许可证数据和BRU序列号，直到出现选择备份设备的窗口。建议不要将磁带设备连接到IBM ServeRAID适配器，而是使用单独的SCSI控制器。输入备份设备的字母，并回答相应问题。如果已输入所有备份设备的信息，会询问是否安装X11界面，选择 Y 。安装程序会创建一个 xbru 目录，可以选择路径或接受默认的 /usr/local/ 。可执行文件将安装在用户指定的目录中，默认是 /usr/local/bin 。

7.3 BRU基本命令

BRU的基本命令结构如下：

# bru modes [control options] [selection options] [files]

其中， bru 是命令或程序， modes 指定备份、恢复或各种查询模式， control options 指定设备和缓冲区大小， selection options 控制要处理的文件或目录， files 是 bru 命令的目标文件。

7.4 基本备份命令

备份单个文件 /home/ayne/.profile ：

# bru -c -vvvv -G /home/ayne/.profile

备份完整目录 /home/ayne ：

# bru -c -vvvv -G /home/ayne

备份整个系统：

# bru -c -vvvv -G /

7.5 基本恢复命令

恢复单个文件 /home/ayne/.profile ：

# bru -x -vvvv -ua -w /home/ayne/.profile

恢复完整目录 /home/ayne ：

# bru -x -vvvv -ua -w /home/ayne

恢复整个系统：

# bru -x -vvvv -ua -w /

关键配置文件是 /etc/brutab ，如需高级信息，请参考BRU用户指南，除非你清楚自己在做什么，否则不要随意编辑。

7.6 基本验证和列表命令

-i 模式可以与备份命令一起使用，也可以单独使用。它会读取每个数据块并验证其校验和。如果与详细选项 -vvvv 一起使用，BRU会给出存档内容的完整列表。
-G 模式显示存档头块，其中包含存档的详细信息，包括创建存档的命令。
-gg 模式显示磁带上的目录内容，但只有在存档使用 -G 选项创建时才能使用。

7.7 BRU的X界面

要使用BRU的X界面，需要处于X-Windows环境中，在命令行输入 xbru 即可打开类似图230的窗口。从这个界面可以进行以下操作：
- 创建和恢复备份
- 创建、保存和加载备份定义
- 安排备份任务
- 列出和验证存档内容
- 查看BRU日志

7.8 BRU的大按钮功能

BRU界面上有三个主要按钮（Full、Level 1和Level 2），它们是备份系统、目录或单个文件不同级别的快捷方式：
- 选择 Full 可备份用户主目录中的所有文件，如果用户是root，则备份整个系统。
- 选择 Level 1 会备份上述相同的文件，但前提是这些文件自上次全量备份后有修改。如果没有进行过全量备份，则视为全量备份。
- 选择 Level 2 会备份上述相同的文件，但前提是这些文件自上次一级备份后有修改。如果没有进行过一级备份，则视为一级备份。

7.9 创建存档

使用BRU的X界面创建存档很简单。点击 Backup 按钮，会弹出备份文件选择界面。左侧的框显示当前目录的内容，可以通过编辑 CD 条目更改当前目录，然后按 Enter 键。可以通过选择文件和目录并点击相应按钮来添加或删除备份列表中的项目。BRU还提供搜索功能，点击 Search 按钮，会弹出一个对话框，提示输入搜索字符串，该字符串可以包含通配符。

备份定义是一种定义一组常用备份选项或首选项的方式，以便将来使用。可以为备份调度程序创建定义，也可以使用默认选择。选择要备份的文件和目录后，点击 Options 按钮，在对话框中设置首选项，完成后点击 Close 按钮返回上一个对话框。点击 Start Backup 按钮开始备份，在下一个对话框中点击 Enter Archive Label 输入新存档的标识文本，然后点击 Create Backup 继续。备份过程中会显示窗口，告知备份的目录/文件数量和数据量，以及备份进度和实际操作。备份完成后，点击 Done 返回XBRU主对话框。

7.10 备份任务调度

要使用备份调度功能，在菜单中选择 File > Scheduler 。BRU提供了一个调度实用程序，方便忙碌的管理员自动执行备份任务。有三个预定义的备份级别：Full、Level 1和Level 2，与前面提到的大按钮功能相同。也可以在创建存档界面中创建自己的定义。

从BRU for X11 Scheduler界面，可以根据每周、每月或单次日期设置备份任务。调度程序非常灵活，但要利用这些调度选项，必须保存所需的调度配置，并确保调度程序通过 cron 运行。以root用户登录，输入以下命令验证或添加 cron 条目：

crontab -e

插入以下行：

0/5 * * * * /usr/local/bin/bruschedule

如果在安装时选择了不同的二进制文件路径，请相应地修改上述条目。保存 crontab 条目后，就可以安排备份任务了。

7.11 恢复文件

使用BRU的X界面恢复文件很简单。点击 Restore 按钮，BRU会读取存档内容。扫描存档后，会出现类似图231的恢复文件选择界面。左侧的框显示磁带中当前目录的内容，可以通过编辑 CD: 条目并按 Enter 键更改当前目录。通过选择文件和目录并点击相应按钮，可以添加或删除恢复列表中的项目。选择要恢复的所有文件和目录后，点击 Restore 按钮，会显示一个进度窗口，显示每个文件的恢复情况。

7.12 存档列表和验证

BRU提供三种查看存档内容的选项：
- Header ：显示存档头记录，其中列出了标签、创建日期、版本和序列号。
- Filenames only ：显示磁带上的目录。如果存档没有使用 -G 选项创建，BRU会扫描整个存档以创建文件列表，此过程可能需要一些时间，会提前提示。
- Full details ：扫描整个存档，获取文件名、权限、所有者、大小、修改时间等详细信息，这个过程可能比较耗时。

如果存档中没有磁带上的目录，BRU必须扫描整个存档才能获取列表，这可能非常耗时。因此，在创建存档时，建议使用 -G 选项创建磁带上的目录，或者在XBRU备份对话框的 Options 中选择 Create On-Tape Directory 。

BRU提供两种验证存档的选项：
- Checksum Verification ：在写入存档时，会为每个数据块计算校验和，并存储在每个块的头部。校验和验证会读取每个块，重新计算校验和，并与头部的值进行比较。验证过程中会列出每个文件，并显示发现的任何错误。如果没有错误，说明备份准确无误。
- Compare Verification ：BRU会将存档中的文件与硬盘上的文件进行比较，记录任何差异，如修改时间、大小或存档中有但硬盘上不存在的文件。验证完成后会显示差异结束通知。

7.13 BRU总结

如需了解BRU的高级功能，请参考其用户指南或访问官网 http://www.estinc.com 。

8. Microlite BackupEDGE备份软件

8.1 BackupEDGE简介

BackupEDGE是一款适用于Linux平台的完整备份解决方案，易于使用且功能强大。使用它可以安全地存档文件系统中的每个文件、目录、设备节点和特殊文件。与标准的UNIX tar 命令不同，BackupEDGE会验证写入磁带的每一个字节，确保磁带准确反映数据。它具有以下特点：
- 数据压缩：支持自动数据压缩。
- 菜单界面：几乎所有功能都可以通过直观的菜单系统访问。
- 远程磁带驱动器支持：可以通过网络备份计算机。
- 高性能：采用高级双缓冲和可变块因子。
- 虚拟文件支持：可以备份虚拟（稀疏）文件。
- 多卷/多设备存档：自动跨多个卷或设备进行存档。
- 通配符支持：选择文件时可以使用通配符。
- 原始设备备份：可以将整个原始设备/分区存档到磁带。
- 主备份/增量备份
- 无人值守操作：可以进行主备份或仅备份更改的文件。

BackupEDGE设计用于Linux 2.x内核，有适用于多种库类型的版本。

8.2 安装Microlite BackupEDGE

在安装BackupEDGE之前，需要确定备份设备的设备条目。在Linux下，磁带设备通常分配在设备节点 /dev/st0 、 /dev/st1 等，每个磁带设备都会创建一个不可倒带的设备，如 /dev/nst0 、 /dev/nst1 等。在示例中，使用 /dev/st0 作为磁带设备， /dev/nst1 作为不可倒带的设备。

以软盘作为安装介质，安装步骤如下：
1. 以root用户登录。
2. 切换到根目录 / 。
3. 将包含产品的软盘插入软盘驱动器，执行以下命令：

tar xvf /dev/fd0

其中 /dev/fd0 是软盘设备。
4. 执行以下命令完成安装：

/tmp/init.edge

安装过程中会出现类似图234的窗口。同样建议不要将磁带设备连接到IBM ServeRAID适配器，而是使用单独的SCSI控制器。

通过以上步骤，你可以搭建一个简单的Beowulf集群，并使用BRU或Microlite BackupEDGE进行数据备份和恢复。希望这些信息对你有所帮助。

搭建Beowulf集群与数据备份恢复指南

9. 不同备份恢复工具对比

工具名称	特点	适用场景	安装与使用复杂度
BRU	支持多种备份设备，具备增量、全量备份等多种功能，有X界面方便操作	需要处理多种备份设备和复杂备份需求的场景，如企业级数据中心	安装需要了解磁带驱动器等设备信息，命令和界面操作有一定复杂度
Microlite BackupEDGE	支持数据压缩、远程磁带驱动等，有直观菜单界面	适用于Linux平台的普通用户或小型企业，对备份操作便捷性要求较高	安装步骤相对清晰，但需确定备份设备条目

10. 搭建Beowulf集群与备份恢复流程总结

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A([开始搭建Beowulf集群]):::startend --> B(准备至少两台运行Linux的PC并建立TCP/IP连接):::process
    B --> C(安装PVM和XPVM相关软件包):::process
    C --> D(配置节点通信，共享NFS目录，设置无密码远程登录):::process
    D --> E(启动PVM控制台，添加节点到虚拟机):::process
    E --> F(运行XPVM并分配作业进行并行计算演示):::process
    F --> G([Beowulf集群搭建完成]):::startend
    H([开始数据备份恢复操作]):::startend --> I{选择备份工具}:::process
    I --> |BRU| J(安装BRU，了解磁带设备信息):::process
    I --> |Microlite BackupEDGE| K(安装Microlite BackupEDGE，确定备份设备条目):::process
    J --> L(使用BRU进行备份、恢复、验证等操作):::process
    K --> M(使用Microlite BackupEDGE进行备份、恢复等操作):::process
    L --> N([BRU备份恢复完成]):::startend
    M --> O([Microlite BackupEDGE备份恢复完成]):::startend

11. 常见问题及解决方法

11.1 Beowulf集群搭建问题

问题：PVM添加节点失败。
- 原因：可能是远程机器上PVM守护进程启动失败，或者网络通信存在问题。
- 解决方法 ：查看远程机器的日志文件，检查网络连接是否正常，确保无密码远程登录配置正确。
问题：XPVM无法正常启动。
- 原因：环境变量设置不正确。
- 解决方法 ：检查 XPVM_ROOT 环境变量是否正确设置为 /usr/X11R6/lib/xpvm/ 。

11.2 备份恢复问题

问题：BRU备份或恢复时出现错误。
- 原因：可能是磁带设备连接问题，或者配置文件设置错误。
- 解决方法 ：检查磁带设备是否正确连接到单独的SCSI控制器，查看 /etc/brutab 配置文件是否正确。
问题：Microlite BackupEDGE安装失败。
- 原因：可能是安装介质损坏，或者设备条目指定错误。
- 解决方法 ：更换安装介质，重新确定备份设备的设备条目。

12. 性能优化建议

12.1 Beowulf集群性能优化

网络优化 ：使用高速互连技术，如SCI或Myrinet，替代普通以太网，减少节点间通信延迟。
软件优化 ：选择合适的并行计算库，如PVM或LAM/MPI，根据具体应用场景进行优化。

12.2 备份恢复性能优化

BRU优化 ：合理设置缓冲区大小和备份模式，根据数据特点选择增量备份或全量备份。
Microlite BackupEDGE优化 ：开启数据压缩功能，提高备份存储效率，同时合理设置双缓冲和块因子，提升备份速度。

13. 未来发展趋势

随着技术的不断发展，Beowulf集群和数据备份恢复技术也将不断演进。在Beowulf集群方面，可能会有更高效的并行计算算法和更强大的硬件支持，进一步提升集群的性能和可扩展性。在数据备份恢复方面，云存储技术的应用可能会越来越广泛，提供更安全、便捷的备份解决方案。同时，自动化和智能化的备份恢复工具将成为未来的发展方向，减少人工干预，提高备份恢复的准确性和效率。

通过本文的介绍，你已经了解了如何搭建Beowulf集群以及使用不同的工具进行数据备份和恢复。在实际应用中，你可以根据自己的需求和环境选择合适的方案，并不断优化和改进，以确保系统的高效运行和数据的安全可靠。