49、数据系统的未来展望

数据系统的未来展望

1. 数据集成面临的挑战

在处理数据存储和查询等问题时，并没有一种通用的解决方案。不同的软件工具适用于不同的场景，例如在存储引擎方面，有日志结构存储、B - 树和列存储等；在复制方面，有单领导者、多领导者和无领导者等方法。软件实现通常需要选择一种特定的方法，试图在一个软件中实现所有功能往往会导致性能不佳。

面对众多的软件工具选择，首先要明确软件产品与适用场景之间的映射关系。然而，即使了解了工具与场景的适配性，在复杂应用中，数据的使用方式多样，很难找到一款软件能满足所有需求，因此往往需要组合多个不同的软件来提供应用功能。

2. 数据集成的方法

• 通过派生数据组合专业工具 ：以集成 OLTP 数据库和全文搜索索引为例，虽然一些数据库（如 PostgreSQL）有全文索引功能，但复杂的搜索需求仍需专业的信息检索工具。同时，搜索索引通常不适合作为持久记录系统，所以很多应用需要结合两种工具。随着数据的不同表示形式增多，数据集成问题变得更加复杂，可能还需要将数据存储在分析系统、维护缓存或非规范化版本、进行机器学习处理等。
• 数据流的推理 ：当需要在多个存储系统中维护相同数据的副本时，要明确数据的输入和输出，例如先将数据写入记录系统数据库，通过变更数据捕获（CDC）记录数据库的更改，并按相同顺序应用到搜索索引。若 CDC 是更新索引的唯一方式，可确保索引与记录系统一致。若应用直接同时写入搜索索引和数据库，可能会导致两个存储系统处理冲突写入的顺序不同，从而产生不一致。若能让所有用户输入通过一个系统决定写入顺序，就更容易按相同顺序处理写入来派生数