2、并行与高性能计算：从入门到实践

并行与高性能计算：从入门到实践

1. 并行计算实习项目的开端与个人经历

2016 年，一群人共同发起了洛斯阿拉莫斯国家实验室（LANL）并行计算暑期研究实习（PCSRI）项目，旨在应对高性能计算系统日益增长的复杂性。该项目为期 10 周，包含各种并行计算主题的讲座，随后是由实验室工作人员指导的研究项目。每年有 12 至 18 名学生参与，许多人将其作为职业生涯的跳板。

有一位参与者，其并行计算之旅始于康奈尔大学教授的一个要求：在四楼尽头的房间里为集群安装 Knights Corner 处理器。原本以为简单的任务，却开启了一段高性能计算的艰难旅程。从学习小型集群的基本工作原理，到搬运 40 磅重的服务器、操作 BIOS、运行第一个应用程序，再到优化所安装节点上的应用程序。

短暂的家庭休息后，这位参与者申请了研究实习，并被新墨西哥州的首个并行计算暑期研究实习项目录取。在这里，他结识了 Bob，开始探索并行计算在当今硬件上的复杂性，尤其对通过正确编写并行代码实现的性能提升着迷。他个人深入研究了如何编写更有效的 OpenMP 代码，在应用程序优化方面的进展为他带来了更多机会，如参加会议并在英特尔用户组会议和超级计算大会的英特尔展位上展示自己的工作，还受邀参加并在 2017 年的萨利山会议上发言。

此外，参加 GPU 黑客马拉松也是一次很棒的经历。在黑客马拉松中，他们将代码移植到 OpenACC，一周内代码速度提升了 60 倍，原本需要一个月的计算现在一夜之间就能完成。基于这些经历，这位参与者申请了研究生院，最终选择了与阿贡国家实验室关系密切的芝加哥大学，在那里得到了 Ian Foster 和 Henry Hoffmann 的指导。

2. 编写相关