42、高性能计算系统中人工智能应用的效率分析：以K-Means为例

高性能计算系统中人工智能应用的效率分析：以K-Means为例

1. 引言

近年来，高性能计算（HPC）与人工智能（AI）的融合愈发重要，先进的HPC技术提升了大规模AI应用所需的处理能力。传统上，HPC系统用于科学模拟和建模，如今也可用于深度学习或神经网络等复杂AI工作负载。然而，随着这些应用在HPC系统上变得更加复杂，确保AI应用高效运行至关重要。

我们提出提供这些应用性能的相关信息，并识别程序中可改进的部分。为此，我们首先评估PAS2P（Parallel Application Signature for Performance Prediction）工具，该工具用于预测并行科学应用的性能，并分析是否可为AI应用生成模型。

PAS2P方法基于表征MPI应用执行时的动态行为。它对应用进行插桩，分析捕获的事件，搜索定义为阶段的重复模式。每个阶段被赋予一个由模式重复次数决定的权重。为进行性能预测，PAS2P生成由阶段组成的签名。执行时，我们获得每个阶段的执行时间，将这些时间与权重相乘，即可得到执行时间预测。

借助PAS2P工具，我们可以将应用表征为一组简化的阶段，这使我们能够将效率分析集中在应用的阶段上，并随后将此分析扩展到整个应用。在本文中，我们将效率分析应用于K-Means应用。

2. 相关工作

与在HPC系统上运行的AI并行应用性能相关的工具众多。例如，一些研究聚焦于评估Python并行编程模型（如Charm4Py和mpi4py）的性能。还有研究引入了用于评估HPC系统上MPI库性能的Python微基准测试工具OMB - Py。

不过，这些基准测试的主要困难之一是选择与要在特定系统上评估的应用