32、高能物理数据库：关键回顾

高能物理数据库：关键回顾

在高能物理领域，数据管理是一个至关重要的问题。随着大型实验的开展，产生的数据量呈指数级增长，如何有效地管理和处理这些数据成为了研究的焦点。本文将探讨高能物理数据库的发展历程、面临的挑战以及未来的发展趋势。

1. 1997年超大型数据库会议（VLDB’97）

在1997年的超大型数据库会议上，David Malon和Ed May发表了一篇关于“高能物理关键数据库技术”的论文。论文指出，许多大规模高能物理实验即将开展，其中一些实验每年将产生数PB的科学数据。物理计算界正在进行各种探索性项目，以研究管理这些数据的方法。对于海量数据问题，存在两种相互矛盾的观点：
- 数据量太大，无法在真正的数据库中有效管理。
- 数据量太大，没有真正的数据库就无法有效管理。

许多人同时持有这两种观点。论文涵盖了该领域的多个项目，包括RD45、费米实验室的分析计算项目（CAP）、PASS项目以及美国能源部最近启动的“重大挑战”项目。论文还列出了DBMS系统的愿望清单，包括：
- 至少处理数十PB（最终达到数百PB）的数据。
- 高效支持10⁹个或更多元素的集合。
- 支持数百个并发查询，有些查询需要几秒完成，有些则需要数月。
- 每天添加10TB数据，同时不影响查询操作。
- 返回正在进行的查询的部分结果，并提供交互式查询优化。

此外，还提出了一些与海量存储系统相关的要求，这些系统可以作为后端或集成到DBMS中。这表明不同项目的方法存在一些共性，但仍有许多问题尚未解决。论文的目标是“在计算物理和超大型数据库社区之间就这些问题展开对话，并推动对双方都有益的研究方向”。

2. LHC