29、大规模数据可视化：挑战、架构与解决方案

大规模数据可视化：挑战、架构与解决方案

1. 引言

“计算的目的是洞察，而非数字。”如今，计算机和其环境的能力不断增强，用户倾向于生成越来越多、规模越来越大的数据集。然而，有效开展科学研究的能力最终受限于发现和理解结果的能力。这凸显了对能够对大规模数据进行有效且高效分析和可视化的工具及环境的迫切需求。

2. 问题特征化

2.1 数据规模与复杂性

如今的超级计算机具备数十太浮点运算的性能水平。这些机器被用于在生物科学、环境科学、能源研究和国防等多个领域进行前所未有的复杂和高保真度的模拟。TB级数据集已不再罕见，预计未来几年还会出现PB级数据集。

2.2 数据分析与可视化流程

大规模科学数据的分析和可视化过程包含一系列数据服务功能，这些功能在可视化之前应用于数据，以生成可渲染对象并将其转换为图像。高性能渲染本身是不够的，一个完整的大规模数据可视化环境必须包括丰富的高性能数据服务，以高效地为高性能可视化服务提供数据。

2.2.1 支持数据探索与发现

• 理想与现实的差距 ：理想的计算科学和工程分析环境能为复杂问题提供简单明确的答案，但现实中，我们需要从海量数据中发现简单答案，这就需要支持高效数据探索的工具和环境。
• 数据服务功能的重要性 ：丰富的数据服务功能是支持强大数据探索的关键。这些功能应具备检索、操作、审查和解释最终用户当前感兴趣的数据部分的能力。例如，能够从大型数据集中高效提取特定数据对象，以及从现有数据对象派生新的数据对象。