25、全对全通信中的节能策略与内存HDF5文件的数据重分配

全对全通信中的节能策略与内存HDF5文件的数据重分配

1. 全对全通信中的节能策略

在高性能计算中，能源效率是一个重要的考量因素。对于全对全（All-to-All）通信操作，提出了按调用节能策略，并在MVAPICH2中实现为MPI Alltoall集合操作，且不修改现有算法。

1.1 相关研究

• 现代高性能集群中互连的能源效率受到关注。
• 有研究通过DVFS（动态电压频率调整）来实现通信阶段的节能。
• 也有工具可估算并行应用在不同CPU组件方面的功耗特性。
• 还有提出在集合操作（如MPI Alltoall和MPI Bcast）中节能的算法，但与本文方法有显著差异。例如，有的算法假设节流对节点间通信有负面影响，因此重新设计全对全操作，让部分套接字在某些时间不参与通信以进行节流，但随着节点内核心数量增加，这种方法可能引入显著的性能开销。而本文方法是将两个套接字保持在最低频率并节流到更高状态T5来实现节能。

1.2 实验结果

对节点间和节点内消息传输对CPU节流的敏感性进行了评估，发现节流对节点间通信性能几乎没有负面影响。因此，在MVAPICH2的三种不同全对全实现的纯节点间通信步骤中应用了DVFS和CPU节流。实验表明，对于CPMD应用输入和NAS应用基准测试，所提出的策略可实现高达15.7%的节能，且不会引入显著的性能损失。

2. 内存HDF5文件的数据重分配

模拟代码使用HDF5文件格式的输出通常由多个不同的属性和数据集组成，这些对象在通过HDF5层读写时会创建不同块大小的元数据和数据IO操作。通过