21、高性能计算集群通信分析与并行排序算法研究

高性能计算集群通信分析与并行排序算法研究

网络测试2工具包概述

网络测试2工具包在高性能计算集群的通信环境分析中具有重要作用。它由多个组件构成，包括支持多种测试模式的网络测试应用程序、能将测试结果转换为三种格式（“纯文本表示”、“非聚类NetCDF表示”、“聚类NetCDF表示”）的实用转换器、实现数据压缩的聚类算法以及用于可视化测试结果的程序（一个用Java编写，另一个使用Qt4.5框架用C++编写）。

集群互连测试方法

网络测试程序利用MPI - 2标准的函数在计算集群的单个处理器单元之间进行数据传输。通过多次重复测量延迟值来计算通信环境的带宽，延迟值针对某个MPI函数进行测量，该MPI函数的名称由测试模式决定。

测试过程如下：
1. 设置消息起始长度，每次迭代后按步长增加长度，直到达到结束长度。
2. 考虑所有可能的MPI进程对，针对每个固定的消息长度，独立于其他进程对测量MPI函数的延迟。
3. 每次当前长度步骤会创建一个延迟值矩阵向量，向量长度由每个消息长度步骤的迭代次数决定。
4. 为每个向量计算统计特征（如最小延迟、平均延迟、中值延迟和延迟值的标准差），并将这些特征存储在文件中。

存储测试结果采用NetCDF文件格式，其CDL头如下：

netcdf info {
    dimensions:
        x = <number of processors> ;
        y = <number of processors> ;
        n = UNLIM