EHPC通过断点续算和自动伸缩在抢占式实例上实现低成本HPC计算

摘要： E-HPC 低成本计算方案 E-HPC作为阿里云上的云超算产品将HPCaaS公共云服务提供给客户，将公共云上资源弹性优势，高性能的优势，计算资源的多样性等优势提供给HPC用户，如果HPC用户追求极致性能的HPC集群，我们可以提供SCC，裸金属服务器，EGS异构计算资源。

E-HPC 低成本计算方案

E-HPC作为阿里云上的云超算产品将HPCaaS公共云服务提供给客户，将公共云上资源弹性优势，高性能的优势，计算资源的多样性等优势提供给HPC用户，如果HPC用户追求极致性能的HPC集群，我们可以提供SCC，裸金属服务器，EGS异构计算资源。对于成本相对比较敏感的客户， E-HPC提供自动伸缩+抢占式实例+断点续算低成本计算方案，从而可以将云上普惠的高性能计算服务提供给绝大部分HPC用户：

• 抢占式实例保证用户的计算资源可以控制在很低的成本之下，关于抢占式实例的详细介绍，参考抢占式实例
• 自动伸缩可以帮助用户自动扩容，无需用户干预，用户只需要提交作业，设定抢占式实例的竞价策略, 关于E-HPC的自动伸缩，参考E-HPC自动伸缩
• 断点续算可以保证作业被中断之后，有新的竞价实例扩容成功之后，作业可以继续运算，而不是重新开始运算。
  目前，在HPC领域，有很多研究关于MPI支持断点续算(checkpoint/restart)技术，MVAPICH2基于BLCR实现checkpoint/restart，并提供checkpoint文件管理；OpenMPI设计了模块化的checkpoint/restart机制，并有基于BLCR的实现。HPC有些领域的应用本身是支持断点续算的，例如LAMMPS， GROMACS，渲染应用里的V-Ray也是支持断点续算的。HPC常用的调度器集群也对断点续算有集成支持，Slurm与BLCR集成，也可以直接使用SCR等checkpoint系统对作业进行断点续算。LSF支持作业检查点和恢复执行。

具体案例

以下将以案例的形式介绍如何在E-HPC进行低成本计算：

• LAMMPS在E-HPC上的计算
• GROMACS GPU在E-HPC上的计算
• 用户自己开发的MPI程序如何在E-HPC上低成本计算

创建E-HPC集群

通过E-HPC控制台 创建集群

• 选择“竞价实例”，设定价格策略，系统自动出价或者设置最高价格
  
• 选择软件包，例如LAMMPS， GROMACS-GPU
  
• 集群创建成功之后，创建用户，用于提交作业
  

案例一： LAMMPS

算例输入文件

本文以3d Lennard-Jones melt为例
修改算例输入文件如下, 设置每迭代100步生成一个checkpoint文件

# 3d Lennard-Jones melt

units           lj
atom_style      atomic

lattice         fcc 0.8442
region          box block 0 20 0 20 0 20
create_box      1 box
create_atoms    1 box
mass            1 1.0

velocity        all create 1.44 87287 loop geom

pair_style      lj/cut 2.5
pair_coeff      1 1 1.0 1.0 2.5

neighbor        0.3 bin
neigh_modify    delay 5 every 1

fix             1 all nve

dump 1 all xyz 100 /home/testuser1/sample.xyz
run             10000 every 100 "write_restart /home/testuser1/lennard.restart"