16、数据采集与检索的新型框架

数据采集与检索的新型框架

在数据管理领域，高效的数据采集与检索是至关重要的。一种新型的框架——Summary模型，为解决这一问题提供了有效的途径。该模型将数据及其关系分为四个逻辑层面，以实现数据的高效管理和利用。

1. 模型的功能

Summary模型的四个逻辑层面分别为存储结构、元数据结构、使用元数据结构和算法访问关系实体与层次实体，以及传播变更。

• 存储结构 ：关系实体被视为通过OLTP系统生成的事务数据（原始数据）的存储。
• 元数据结构 ：根据实体的特征及其与其他数据的关系来组织实体。通过定义函数来组织摘要字段和级别，以生成预计算数据，并存储层次关系，将关系实体属性的变更传播到层次模式的关注摘要实体的顶层。
• 访问关系实体和层次实体 ：关系数据可以通过索引、集群等方式检索，而层次数据的检索和传播路径需要从元数据中获取。这还需要摘要函数来计算摘要实体中摘要属性的数据，从而为决策支持系统（DSS）做好准备。
• 传播变更 ：将关系实体中发生的变更传播到摘要实体是主要任务。该过程通过在摘要段的每个级别应用函数来生成数据，存储摘要实体增量级别的摘要值变更，并更新预计算值。关系数据的变更可能会影响多个摘要实体，可应用离线数据执行来刷新摘要实体中的摘要字段。

2. 数据仓库中的存储结构（Level1）

来自异构源的信息存储在关系模式的实体中，这些实体被视为Summary模型中的基础实体，类似于星型模式的事实