基于MPI的大规模数据并行后处理探索

最新推荐文章于 2025-06-06 15:11:08 发布

原创

最新推荐文章于 2025-06-06 15:11:08 发布 · 491 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#信息可视化 #数据分析 #数据挖掘

文章探讨了在CAE仿真计算中，尤其是CFD领域，由于数据量激增对可视化工具提出的挑战。提出使用MPI与VTK结合的并行后处理方法，通过多进程并行处理数据，优化数据处理和渲染效率。关键点包括数据通信策略、并行控制和数据分块。初步测试显示了数据处理的加速效果，但目前仍处于技术探索阶段，期待进一步完善和应用。

近年来，伴随着超算等大算力设备在CAE领域的应用，CAE仿真的网格量与计算结果的数据量也在不断攀升，尤其在CFD仿真计算领域，千万级的网格数据量已经成为常态，这也对可视化程序提出了更高的要求，传统的单线程的后处理模式已经在交互的实时性与数据处理效率两个方面面临着越来越严峻的挑战，在易用性与友好性上难以满足用户要求。大规模数据的并行后处理技术旨在解决数据规模很大的情况下数据的快速渲染与软件快速响应问题。本文试图探索MPI与VTK相结合的并行后处理方法解决上述问题，并探究其可行性与关键技术。

01技术路线

经过对ParaView、VisIt以及VTK等程序的调研与测试，发现在图形的渲染方面，三者的差异较小，均能在普通工作机上完成千万级网格量的渲染，但是在流线生成、切片、镜像对称等数据操作的效率上存在较大的差异。因此基于VTK的图形可视化程序，效率提升的重点在于提高数据处理的效率，可以将数据处理过程进行并行化以提高处理效率。