MATLAB分布式并行计算环境(三) （转自高山流水）

MATLAB分布式并行计算环境(三)

4. 在交互式并行环境中工作

Parallel Computing Toolbox（并行计算工具箱）扩展了 MATLAB 交互式环境，可以使用熟悉的 MATLAB 环境来建立原型、开发任务并行和数据并行应用程序。 matlabpool 命令可为分配一组专用的计算资源。它可将您的 MATLAB 会话连接至一个 MATLAB worker 池，这些worker 既可在桌面上本地运行，又可在计算机集群上运行。此外，它还可以建立一个交互式并行执行环境。在该环境中，用户可以从 MATLAB 命令提示符执行并行的 MATLAB 代码，并且在计算结束后立即得到结果。在该环境中，并行的编程结构（例如 parfor 和spmd）会自动检测是否有 worker，并在MATLAB 会话与worker 之间分发计算和数据。
    并行命令窗口 (pmode) 是MATLAB 命令窗口的扩展，可建立一个数据并行的执行环境，在该环境中，用户可以使用分布式数组、关联的并行函数，以及消息传递函数。在并行提示符下发出的命令会在所有参与的 worker 上同时执行，并立即返回结果，这样，用户便可以更好地在每个步骤追踪应用程序在整个多处理器系统中的行为。此外，还可以将命令收集到 MATLAB 函数中，并将其提交用以脱机执行。

5. 在批处理环境中工作

利用 Parallel Computing Toolbox（并行计算工具箱），用户可以使用批处理环境来脱机执行程序，从而在执行大型 MATLAB 和Simulink 应用程序时，自如地将 MATLAB 客户端会话用于其他活动。等待应用程序执行并返回结果时，用户也可以关闭 MATLAB 客户端会话。
    利用批处理功能，可脱机执行 MATLAB 脚本。它提供了一种在 MATLAB 客户端和 worker 工作区之间传输数据的机制，免除了在多个工作区分别管理数据的需要。利用 Configurations Manager（配置管理器），可将程序执行导向使用四个本地 worker 的工作站，或使用任何scheduler 和任意数量 worker 的集群。

此外，该工具箱还提供了作业和任务对象。这些对象提供了一种较低级但更通用的机制，用以在批处理环境中执行并行 MATLAB 应用程序。批处理函数以及作业和任务对象都可用来减少执行串行 MATLAB 程序时，从桌面 MATLAB 会话向worker 传输数据的负载。

 

3.2.2 分布式计算引擎（服务器）（MDCE/S）

MATLAB Distributed Computing Server可以使并行计算工具箱应用程序得到扩展，从而可以使用运行在任意数量计算机上的任意数量的worker。MATLAB Distributed Computing Server还支持交互式和批处理工作流。此外，使用 Parallel Computing Toolbox 函数的MATLAB 应用程序还可利用 MATLAB Compiler（MATLAB 编译器）编入独立的可执行程序和共享软件组件，以进行免费特许分发。这些可执行应用程序和共享库可以连接至 MATLAB Distributed Computing Server的worker，并在计算机集群上执行MATLAB同时计算，加快大型作业执行速度，节省运行时间。
    MATLAB Distributed Computing Server 支持多个调度程序：MathWorks 作业管理器（随产品提供）或任何其他第三方调度程序，例如 Platform LSF、Microsoft Windows Compute Cluster Server（CCS）、Altair PBS Pro，以及TORQUE。
    使用工具箱中的 Configurations Manager（配置管理器），可以维护指定的设置，例如调度程序类型、路径设置，以及集群使用政策。通常，仅需更改配置名称即可在集群间或调度程序间切换。
    MATLAB Distributed Computing Server 会在应用程序运行时在基于用户配置文件的集群上动态启用所需的许可证。这样，管理员便只需在集群上管理一个服务器许可证，而无需针对每位集群用户在集群上管理单独的工具箱和模块集许可证。
    作业（Job）是在MATLAB中大量的操作运算。一个作业可以分解不同的部分称为任务（Task），客户可以决定如何更好的划分任务，各任务可以相同也可以不同。MALAB中定义并建立作业及其任务的会话（Session）被称为客户端会话，通常这是在你用来编写程序那台机器上进行的。客户端用并行计算工具箱来定义和建立作业及其任务，MDCE通过计算各个任务来执行作业并负责把结果返回客户端。作业管理器（Job Manager）是MDCE的一个组成部分，用来协调各个作业及其任务在各个woker上的执行。如图3-6所示，MATLAB客户端（Client）与调度或作业管理器（Sheudler/Jobmanager）和计算节点（Worker）之间的关系。

 

在一个机群（Cluster）环境中可以由多个客户端同时向调度管理器提交作业，在，中调度器负责作业对列排序等待、分发给各节点worker，并将结果归约返回给客户端，如图3-7 (a) 所示；在一个比较大而复杂网络机群中，还可以存在多个客户端与多个作业调度，一个客户可以向多个不同作业调度器提交多个作业，